[논문 리뷰] Learning from Few Samples: A Survey

Nihar Bendre, Hugo Terashima‐Marín외 1명|arXiv (Cornell University)|2020. 07. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 140인용 수 37

한 줄 요약

본 조사는 컴퓨터 비전에서의 few-shot 메타 러닝 기법을 분석하고 분류 체계를 제안하며 Omniglot와 Mini-Imagenet 벤치마크에서 방법들을 비교합니다.

ABSTRACT

Deep neural networks have been able to outperform humans in some cases like image recognition and image classification. However, with the emergence of various novel categories, the ability to continuously widen the learning capability of such networks from limited samples, still remains a challenge. Techniques like Meta-Learning and/or few-shot learning showed promising results, where they can learn or generalize to a novel category/task based on prior knowledge. In this paper, we perform a study of the existing few-shot meta-learning techniques in the computer vision domain based on their method and evaluation metrics. We provide a taxonomy for the techniques and categorize them as data-augmentation, embedding, optimization and semantics based learning for few-shot, one-shot and zero-shot settings. We then describe the seminal work done in each category and discuss their approach towards solving the predicament of learning from few samples. Lastly we provide a comparison of these techniques on the commonly used benchmark datasets: Omniglot, and MiniImagenet, along with a discussion towards the future direction of improving the performance of these techniques towards the final goal of outperforming humans.

연구 동기 및 목표

• 적은 샘플로 학습하는 연구를 자극하고 새로운 범주에 대한 제한된 라벨 데이터의 문제점을 강조한다.
• 네 가지 범주에 걸친 few-shot 메타러닝 접근법의 분류 체계를 제시한다.
• 각 범주 내의 대표적 연구와 그 전략을 요약한다.
• 표준 CV 벤치마크에서 기술의 성능을 비교하고 향후 방향을 논의한다.

제안 방법

• few-shot 메타러닝 기법을 데이터 증강, 임베딩, 최적화, 의미론 기반 그룹으로 분류한다.
• 각 범주에서 대표적인 기초 연구들을 설명하고 핵심 아이디어를 제시한다.
• 이 기법들이 어떻게 새로운 작업에서 소량의 라벨 샘플로 학습하는 문제를 해결하는지 설명한다.
• 일반 벤치마크 데이터셋인 Omniglot 및 Mini-Imagenet을 사용하여 방법들을 비교한다.
• 전이 학습 및 자기지도 학습과의 연계성을 보완적 접근으로 논의한다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전에서의 few-shot 메타러닝 기법의 주요 범주와 그 핵심 아이디어는 무엇인가?
• RQ2 데이터 증강, 임베딩, 최적화, 의미론 기반 방법은 Omniglot와 Mini-Imagenet 같은 표준 벤치마크에서 어떤 성능을 보이는가?
• RQ3 현 접근 방식의 한계와 few-shot 학습 성능 향상을 위한 잠재적 미래 방향은 무엇인가?

주요 결과

• 본 논문은 data-augmentation, embedding, optimization, semantic-based learning의 네 가지 범주로 few-shot, one-shot, zero-shot 설정에 대한 분류 체계를 제공합니다.
• 각 범주 내의 대표 연구들을 검토하고 제한된 샘플로 학습하는 그들의 접근법을 다룹니다.
• Omniglot 및 Mini-Imagenet 데이터셋에서 기술들을 비교하여 상대적 강점과 한계를 논의합니다.
• 본 조사는 few-shot 학습 과제에서 인간 수준의 성능을 능가하기 위한 향후 방향에 대해 논의합니다.