[논문 리뷰] A Hybrid Approach with Optimization and Metric-based Meta-Learner for Few-Shot Learning

Duo Wang, Yu Cheng외 3명|arXiv (Cornell University)|2019. 04. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 3

한 줄 요약

이 논문은 최적화 기반 메타학습과 메트릭 기반 기본 학습자(기본 모델)를 결합하여 유연한 클래스 수와 일반화 성능 향상을 위한 하이브리드 소수 학습 프레임워크인 Meta-Metric-Learner를 제안한다. 작업별로 다른 클래스 수를 가진 작업을 다룰 수 있도록 Meta-SGD 메타학습자로 작업별 메트릭 학습자 내의 기울기 업데이트를 안내함으로써, 균형 잡히지 않은 클래스 분포와 다중 소스 데이터를 포함한 표준 및 현실적인 소수 학습 설정 전반에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Few-shot learning aims to learn classifiers for new classes with only a few training examples per class. Most existing few-shot learning approaches belong to either metric-based meta-learning or optimization-based meta-learning category, both of which have achieved successes in the simplified "$k$-shot $N$-way" image classification settings. Specifically, the optimization-based approaches train a meta-learner to predict the parameters of the task-specific classifiers. The task-specific classifiers are required to be homogeneous-structured to ease the parameter prediction, so the meta-learning approaches could only handle few-shot learning problems where the tasks share a uniform number of classes. The metric-based approaches learn one task-invariant metric for all the tasks. Even though the metric-learning approaches allow different numbers of classes, they require the tasks all coming from a similar domain such that there exists a uniform metric that could work across tasks. In this work, we propose a hybrid meta-learning model called Meta-Metric-Learner which combines the merits of both optimization- and metric-based approaches. Our meta-metric-learning approach consists of two components, a task-specific metric-based learner as a base model, and a meta-learner that learns and specifies the base model. Thus our model is able to handle flexible numbers of classes as well as generate more generalized metrics for classification across tasks. We test our approach in the standard "$k$-shot $N$-way" few-shot learning setting following previous works and a new realistic few-shot setting with flexible class numbers in both single-source form and multi-source forms. Experiments show that our approach can obtain superior performance in all settings.

연구 동기 및 목표

• 기존 소수 학습 방법이 모든 작업에서 동일한 클래스 수를 가정한다는 한계를 해결하기 위해.
• 단일 작업 불변 메트릭에 의존하는 메트릭 기반 접근 방식에서 발생하는 도메인 일반화 문제를 극복하기 위해.
• 최적화 기반 메타학습이 다양한 클래스 수를 가진 이질적인 작업별 네트워크 구조를 처리할 수 있도록 하기 위해.
• 메타학습자가 안내하는 작업 적응형 메트릭을 학습시켜 소수 학습의 일반화 성능을 향상시키기 위해.
• 균형 잡히지 않은 클래스 분포 변화가 있는 단일 소스 및 다중 소스 소수 학습 설정에서의 성능 평가를 위해.

제안 방법

• 모델은 작업별 메트릭 기반 기본 학습자 내의 기울기 하강을 안내하기 위해 Meta-SGD 메타학습자가 초기 파라미터를 예측한다.
• 기본 학습자는 프로토타입 네트워크나 매칭 네트워크와 같은 메트릭 학습 방식을 사용하며, 비모수적이고 다양한 클래스 수에 강건하다.
• 메타학습자의 예측 결과를 바탕으로 메트릭 공간을 파arameter화하여 작업별 메트릭 적응이 가능하게 한다.
• 이 프레임워크는 단일 소스 및 다중 소스 소수 학습을 모두 지원하며, 보조 데이터 소스가 일반화 성능을 향상시킨다.
• 모델은 이중 단계 학습 프로세스로 학습되며, 메타학습자가 기본 모델의 파라미터를 예측하고, 이후 각 작업에 맞게 기본 모델을 미세조정한다.
• Omniglot 데이터셋에서 90도 회전을 통한 데이터 증강을 적용하여 1-샷 및 5-샷 설정에서 평가한다.

실험 결과

연구 질문

• RQ1 다양한 클래스 수를 가진 소수 학습 작업을 효과적으로 다룰 수 있는 하이브리드 메타학습 프레임워크는 가능한가?
• RQ2 메타학습자가 다양한 도메인에서 작업별 적응형 메트릭을 학습하는 메트릭 기반 모델을 안내할 수 있는가?
• RQ3 최적화 기반 메타학습과 메트릭 기반 기본 학습자를 융합함으로써 다중 소스 소수 학습에서 일반화 성능이 향상되는가?
• RQ4 균형 잡히지 않은 현실적인 소수 학습 설정에서 기존 베이스라인 대비 제안된 방법의 성능은 어떠한가?
• RQ5 균일한 클래스 구조가 필요 없이 다양한 데이터 소스(예: Omniglot의 알파벳) 간에 일반화가 가능한가?

주요 결과

• 표준 5-way 1-shot 설정에서 Meta-Metric-Learner는 Meta-SGD 및 매칭 네트워크를 포함한 모든 베이스라인 모델을 능가한다.
• 더 어려운 3 대 5 샷 분할 설정에서도 모델은 뛰어난 정확도를 달성하여 클래스 불균형에 대한 강건성을 입증한다.
• Omniglot에서의 다중 소스 설정에서, 1-샷, 30% 클래스 분할 조건에서 모델은 86.84%의 정확도를 기록하며 모든 베이스라인을 능가한다.
• 훈련 곡선을 통해 균형 잡히지 않은 클래스 시나리오에서 기존 베이스라인 대비 더 빠르게 수렴하고 더 높은 테스트 정확도를 달성함을 확인할 수 있다.
• 메타학습 및 메타테스트 세트가 모두 균형 잡히지 않은 클래스 분포를 가질 때에도 모델은 뛰어난 성능 유지를 보이며, 이는 그 유연성을 입증한다.
• 특히 현실적인 소수 학습 설정에서 단일 소스 및 다중 소스 형태 모두에서 기존 방법 대비 일관된 성능 향상을 보이며, 전반적인 성능 향상이 뚜렷하다.