[논문 리뷰] Generalizing from a Few Examples: A Survey on Few-Shot Learning

Yaqing Wang, Quanming Yao외 2명|arXiv (Cornell University)|2019. 04. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 182인용 수 799

한 줄 요약

포괄적인 조사로 Few-Shot Learning(FSL)을 정의하고, 이를 관련 문제들과 구분하며, 데이터, 모델, 알고리즘 관점으로 범주화된 FSL 방법의 분류 체계를 검토하고, 향후 방향에 대해 논의한다.

ABSTRACT

Machine learning has been highly successful in data-intensive applications but is often hampered when the data set is small. Recently, Few-Shot Learning (FSL) is proposed to tackle this problem. Using prior knowledge, FSL can rapidly generalize to new tasks containing only a few samples with supervised information. In this paper, we conduct a thorough survey to fully understand FSL. Starting from a formal definition of FSL, we distinguish FSL from several relevant machine learning problems. We then point out that the core issue in FSL is that the empirical risk minimized is unreliable. Based on how prior knowledge can be used to handle this core issue, we categorize FSL methods from three perspectives: (i) data, which uses prior knowledge to augment the supervised experience; (ii) model, which uses prior knowledge to reduce the size of the hypothesis space; and (iii) algorithm, which uses prior knowledge to alter the search for the best hypothesis in the given hypothesis space. With this taxonomy, we review and discuss the pros and cons of each category. Promising directions, in the aspects of the FSL problem setups, techniques, applications and theories, are also proposed to provide insights for future research.

연구 동기 및 목표

• 전통적인 머신 러닝과의 관련성 속에서 Few-Shot Learning을 정의하고 그 목표와 범위를 명확히 한다.
• FSL을 관련 학습 문제와 구별하고, 신뢰할 수 없는 경험적 위험 최소화의 핵심 도전과제를 식별한다.
• 데이터 증강, 모델 제약, 알고리즘 탐색 관점으로 묶인 FSL 방법의 통합 범주화를 제공한다.
• 각 분류 범주 내 기존 연구를 검토하고, 장단점 및 실용적 함의를 논의한다.
• FSL의 문제 설정, 기법, 응용 및 이론적 이해에 있어 유망한 방향을 제시한다.

제안 방법

• FSL의 형식적 정의를 제시하고 이를 표준 머신 러닝 정의와 연관짓는다.
• FSL 문제 변형(예: N-way K-shot 분류, few-shot 회귀, few-shot RL)을 특징짓는다.
• 경험적 위험 최소화의 오차 분해에 기초하여 데이터 증강, 모델 제약, 알고리즘 탐색으로 FSL 방법의 분류 체계를 개발한다.
• 샘플 변환, 약라벨링/무라벨 데이터, 유사 데이터셋 활용 등 데이터 증강 기법을 조사하고 장점과 한계를 논의한다.
• 다양한 방법이 능가하는 일반화 강화를 위해 다태스크 학습, 임베딩, 외부 기억, 생성 모델링 등을 통해 가설 공간을 제약하는 모델 기반 접근법을 조사한다.
• 문제 설정, 기법, 응용 및 이론 전반에 걸친 향후 연구 방향을 제시한다.

실험 결과

연구 질문

• RQ1 What formal definition and scope best captures Few-Shot Learning and how does it relate to traditional ML?
• RQ2 How can prior knowledge be incorporated to address the unreliability of empirical risk minimization in FSL?
• RQ3 What are the main categories of FSL methods and how do data, model, and algorithm approaches compare in terms of benefits and drawbacks?
• RQ4 What are effective data augmentation, modeling, and algorithmic strategies for improving FSL across domains?
• RQ5 What are the key open questions and potential future directions for theory and practice in FSL?

주요 결과

• FSL differs from standard ML primarily due to the small size of labeled training data, leading to unreliable empirical risk minimization.
• A unified taxonomy for FSL comprises data augmentation, model constraints, and algorithmic search strategies.
• Data-based methods augment D_train to increase effective sample size, enabling more reliable learning.
• Model-based methods constrain the hypothesis space using prior knowledge to improve generalization under few-shot conditions.
• Algorithmic methods improve search and optimization using prior knowledge, including good initializations and guided updates.
• The survey discusses strengths, limitations, and future directions across problem setups, techniques, applications, and theory.