[논문 리뷰] Few-shot Learning: A Survey

Yaqing Wang, Quanming Yao|arXiv (Cornell University)|2019. 01. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 128인용 수 109

한 줄 요약

이 종합 검토는 소수 샘플 학습(Few-Shot Learning, FSL)에 대한 포괄적인 개요를 제공하며, 공식적인 문제 설정을 정의하고 메타 최적화, 표현 학습, 일반화와 같은 핵심 과제를 규명한다. 기존 FSL 방법들을 통합된 분류 체계로 정리하고, 각 방법의 강점과 한계를 분석하며, 문제 정의, 기법, 적용 분야, 이론 분야에서의 향후 연구 방향을 제시한다.

ABSTRACT

The quest of `can machines think' and `can machines do what human do' are quests that drive the development of artificial intelligence. Although recent artificial intelligence succeeds in many data intensive applications, it still lacks the ability of learning from limited exemplars and fast generalizing to new tasks. To tackle this problem, one has to turn to machine learning, which supports the scientific study of artificial intelligence. Particularly, a machine learning problem called Few-Shot Learning (FSL) targets at this case. It can rapidly generalize to new tasks of limited supervised experience by turning to prior knowledge, which mimics human's ability to acquire knowledge from few examples through generalization and analogy. It has been seen as a test-bed for real artificial intelligence, a way to reduce laborious data gathering and computationally costly training, and antidote for rare cases learning. With extensive works on emerging, we give a comprehensive survey for it. We first give the formal definition for FSL. Then we point out the core issues of FSL, which turns the problem from how to solve FSL to how to deal with the core issues. Accordingly, existing works from the birth of to the most recent published ones are categorized in a unified taxonomy, with thorough discussion of the pros and cons for different categories. Finally, we envision possible future directions for in terms of problem setup, techniques, applications and theory, hoping to provide insights to both beginners and experienced researchers.

연구 동기 및 목표

• 소수 샘플 학습(Few-Shot Learning, FSL)을 최소한의 레이블된 예시로 새로운 작업에 빠르게 일반화할 수 있도록 하는 기계 학습 문제로 공식적으로 정의한다.
• FSL의 核심 문제를 특정 문제 해결에서 벗어나 메타 최적화와 표현 학습과 같은 기본 과제로 이동시켜 프레임워크를 재정의한다.
• 기존 FSL 방법들을 초기 접근법에서 최신 기술까지 통합된 분류 체계로 분류하여 체계적인 비교를 가능하게 한다.
• 성능, 일반화 능력, 확장성 측면에서 다양한 FSL 기법 유형의 장단점을 비판적으로 분석한다.
• 문제 정의, 기법, 적용 분야, 이론 분야에서의 향후 FSL 연구 방향을 전망한다.

제안 방법

• 모델이 소수의 레이블된 예시에서 새로운 개념을 학습하고 이전 지식을 활용함으로써 소수 샘플 학습을 공식적으로 정의한다.
• 메타 최적화, 표현 학습, 일반화와 같은 핵심 과제를 단순한 솔루션으로서가 아니라 문제 자체의 중심에 두어 기반 문제를 규명한다.
• 메트릭 기반, 모델에 종속되지 않는, 최적화 기반, 메타 학습 기반 접근 방식을 포함한 기반 메커니즘에 따라 FSL 방법을 분류하는 통합된 분류 체계를 개발한다.
• 빠른 적응 능력 등의 강점과 데이터 의존성, 확장성 문제 등의 약점을 평가하여 기법 유형을 분석한다.
• 전통적 방법에서 현대의 딥 러닝 기반 접근 방식으로의 FSL 기법의 진화를 검토하며, 아키텍처 및 훈련 혁신을 강조한다.
• 다양한 기법 간의 통찰을 통합하여 공통 패턴과 차이점을 도출하고, 향후 방법론 설계를 지원한다.

실험 결과

연구 질문

• RQ1 소수 샘플 학습이 기계 학습 문제로서 가지는 공식적 특성과 핵심 구성 요소는 무엇인가?
• RQ2 단순한 모델 정확도를 넘어서 소수 샘플 학습의 어려움을 정의하는 핵심 과제는 무엇인가?
• RQ3 통합된 분류 체계를 통해 기존 FSL 방법들을 어떻게 시스템적으로 분류하고 비교할 수 있는가?
• RQ4 일반화 능력과 효율성 측면에서 다양한 FSL 기법 유형 간의 상대적 장점과 한계는 무엇인가?
• RQ5 문제 정의, 기법, 적용 분야, 이론 분야에서 소수 샘플 학습의 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 소수 샘플 학습은 이전 지식을 활용하여 최소한의 레이블 데이터로 새로운 작업에 빠르게 적응할 수 있는 학습 철학으로 공식적으로 정의된다.
• 메타 최적화, 표현 학습, 일반화와 같은 FSL의 핵심 과제는 강건한 성능을 달성하기 위해 반드시 해결되어야 한다.
• 통합된 분류 체계는 메트릭 기반, 모델에 종속되지 않는, 최적화 기반 방법을 포함한 다양한 접근 방식 간의 이해와 비교를 명확히 한다.
• 각 기법 유형은 고유한 강점과 약점을 보이며, 예를 들어 메트릭 기반 방법은 소수 샘플 일반화에서 뛰어난 성능을 보이지만 분포 이동에 취약할 수 있다.
• 이 검토는 이론적 이해의 격차를 지적하며, FSL의 일반화 및 일반화 경계에 대한 보다 엄밀한 분석이 필요하다고 제안한다.
• 향후 연구는 실세계의 희귀 사건 및 저자료 시나리오에 적용 가능한 확장성 있고 데이터 효율적이며 이론에 기반한 FSL 프레임워크에 집중해야 한다.