[논문 리뷰] Learning from Few Examples: A Summary of Approaches to Few-Shot Learning

Archit Parnami, Minwoo Lee|arXiv (Cornell University)|2022. 03. 07.

Domain Adaptation and Few-Shot Learning인용 수 139

한 줄 요약

이 설문조사는 메타 학습 및 비메타 학습 접근법을 통해 소샷 학습을 검토하고, 방법들을 메트릭 기반, 최적화 기반, 모델 기반 패러다임으로 분류하며, 하이브리드 접근법과 진전에 대해 논의한다.

ABSTRACT

Few-Shot Learning refers to the problem of learning the underlying pattern in the data just from a few training samples. Requiring a large number of data samples, many deep learning solutions suffer from data hunger and extensively high computation time and resources. Furthermore, data is often not available due to not only the nature of the problem or privacy concerns but also the cost of data preparation. Data collection, preprocessing, and labeling are strenuous human tasks. Therefore, few-shot learning that could drastically reduce the turnaround time of building machine learning applications emerges as a low-cost solution. This survey paper comprises a representative list of recently proposed few-shot learning algorithms. Given the learning dynamics and characteristics, the approaches to few-shot learning problems are discussed in the perspectives of meta-learning, transfer learning, and hybrid approaches (i.e., different variations of the few-shot learning problem).

연구 동기 및 목표

• 소샷 학습 문제와 그 실용적 의의를 동기 부여하고 정의한다.
• 메타 학습, 전이 학습, 하이브리드 관점에서 최근의 소샷 학습 접근법을 조사하고 분류한다.
• 적은 데이터 학습을 위한 주요 방법 가족들과 핵심 설계 선택사항을 요약한다.
• 분야의 데이터셋, 진전, 남아 있는 도전 과제를 강조한다.

제안 방법

• 소샷 학습을 메타 학습 기반 및 비메타 학습 기반 접근으로 분류한다.
• 메타 학습 내에서 메트릭 기반, 최적화 기반, 모델 기반 방법과 하이브리드를 구분한다.
• 대표 알고리즘(예: Siamese/Matching/Prototypical/Relation networks; MAML, LEO, Proto-MAML)과 그들의 학습 패러다임을 상세히 설명한다.
• 에피소드 학습과 태스크 분포를 메타 학습의 핵심 구성 요소로 기술한다.
• 임베딩의 구분 가능성을 높이기 위한 태스크 적응 및 주의 메커니즘 기반 향상을 논의한다.

실험 결과

연구 질문

• RQ1 소샷 분류를 위한 주요 메타 학습 패러다임은 무엇이며, P(y|x) 모델링에서 어떻게 다르게 작동하는가?
• RQ2 메트릭 기반, 최적화 기반, 모델 기반 접근법은 소수의 예제로부터 학습하는 문제를 어떻게 해결하는가?
• RQ3 성능 향상에 기여하는 핵심 하이브리드 전략과 확장(하이브리드/크로스 도메인 소샷, 일반화된 FSL)은 무엇인가?
• RQ4 소샷 학습의 진전을 이끄는 데이터셋과 벤치마크는 무엇이며, 관찰되는 진전 추세는 무엇인가?
• RQ5 실제 현장 배치를 위한 소샷 학습에서 남아 있는 개방적 문제는 무엇인가?

주요 결과

• 메타 학습은 여전히 소샷 학습의 지배적 패러다임으로 남아 있으며, 세 가지 주요 분파가 있다: 메트릭 기반, 최적화 기반, 모델 기반 방법.
• 메트릭 기반 방법은 임베딩 함수와 거리 측정을 사용하여 M-way K-shot 태스크에서 에피소드 학습을 가능하게 한다.
• 최적화 기반 방법은 태스크 전반에서 학습자를 최적화하는 방법을 배우며, 종종 외부/내부 루프 메타 트레이닝을 통해 이루어진다(예: MAML, LSTM 메타러너).
• 모델 기반 방법은 외부 메모리나 빠른 적응 메커니즘을 활용하여 소샷 추론을 지원한다.
• 하이브리드 접근은 여러 아이디어를 결합하여 성능을 높인다(예: 교차 태스크 조건부, 태스크 적응 표현).
• 설문은 평가를 위한 일반적인 데이터셋(Omniglot, miniImageNet, FC100, tieredImageNet) 및 벤치마크를 수집한다.