[논문 리뷰] Meta-Transfer Learning for Few-Shot Learning

Qianru Sun, Yaoyao Liu외 2명|arXiv (Cornell University)|2018. 12. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 32

한 줄 요약

이 논문은 사전 훈련된 딥 네ural 네트워크(DNN)를 신경망 활성화에 대해 학습 가능한 스케일링 및 시프팅 연산을 통해 적응시키는 새로운 소수 학습 방법인 메타-트랜스퍼 러닝(MTL)을 제안한다. 이는 빠른 수렴과 과적합 감소를 가능하게 한다. 하드 태스크(HT) 메타배치 교육 과정을 사용해 훈련된 MTL은 MAML보다 30배 적은 8,000개의 메타학습 태스크로만 miniImageNet과 소수 학습 CIFAR-100에서 최신 기술 성능(SOTA)을 달성하며, 1-shot 학습에서 이전 방법보다 최대 7% 향상된다.

ABSTRACT

Meta-learning has been proposed as a framework to address the challenging few-shot learning setting. The key idea is to leverage a large number of similar few-shot tasks in order to learn how to adapt a base-learner to a new task for which only a few labeled samples are available. As deep neural networks (DNNs) tend to overfit using a few samples only, meta-learning typically uses shallow neural networks (SNNs), thus limiting its effectiveness. In this paper we propose a novel few-shot learning method called meta-transfer learning (MTL) which learns to adapt a deep NN for few shot learning tasks. Specifically, "meta" refers to training multiple tasks, and "transfer" is achieved by learning scaling and shifting functions of DNN weights for each task. In addition, we introduce the hard task (HT) meta-batch scheme as an effective learning curriculum for MTL. We conduct experiments using (5-class, 1-shot) and (5-class, 5-shot) recognition tasks on two challenging few-shot learning benchmarks: miniImageNet and Fewshot-CIFAR100. Extensive comparisons to related works validate that our meta-transfer learning approach trained with the proposed HT meta-batch scheme achieves top performance. An ablation study also shows that both components contribute to fast convergence and high accuracy.

연구 동기 및 목표

• 제한된 레이블 데이터를 가진 딥 네ural 네트워크를 사용할 때 과적합과 느린 수렴 문제를 해결하기 위해.
• 기존 메타학습 방법의 한계를 극복하기 위해 얕은 네트워크에 의존하고, 훈련을 위해 많은 수의 메타태스크가 필요한 점을 해결하기 위해.
• 대규모 사전 훈련 모델에서 소수 학습 태스크로 효과적인 전이를 가능하게 하되, 치명적인 잊힘(catastrophic forgetting)을 방지하기 위해.
• 수렴 속도를 높이고 성능을 향상시키는 더 효율적인 메타학습 훈련 교육 과정을 개발하기 위해.

제안 방법

• MTL은 사전 훈련된 대규모 DNN(예: ResNet-12)의 최종 특징 레이어 활성화에 대해 태스크별 스케일링(α) 및 시프팅(β) 파라미터를 학습하여 지식을 전이한다. 이는 αX + β 방식으로 구현된다.
• 이 방법은 α와 β를 메타학습된 하이퍼파ram터로 간주하여, 메타최적화를 통해 새로운 소수 학습 태스크에 대해 최소한의 기울기 업데이트로 신속한 적응을 가능하게 한다.
• 새로운 하드 태스크(HT) 메타배치 전략을 도입하여, 과거 검증 성능 기반으로 메타배치에서 가장 도전적인 태스크를 동적으로 재표본 추출함으로써 점진적인 학습 교육 과정을 형성한다.
• 전체 DNN을 미세조정하지 않고, 가벼운 스케일링 및 시프팅 파라미터만 업데이트함으로써 과적합을 줄이고 치명적인 잊힘을 방지한다.
• 이 방법은 모델에 종속적이지 않으며, 어떤 사전 훈련된 DNN에도 적용 가능하며, 실험을 통해 ResNet-12와 같은 깊은 아키텍처와 조합했을 때 강력한 일반화 성능을 보였다.
• 훈련 과정은 메타최적화 루프를 사용하며, 메타학습자는 스케일링 및 시프팅 파라미터를 초기화함으로써 새로운 태스크에 대해 몇 번의 기울기 단계만으로도 신속한 적응을 달성하도록 학습된다.

실험 결과

연구 질문

• RQ1 사소한 레이블 예제가 있는 경우, 과적합을 피하면서도 사전 훈련된 딥 네ural 네트워크를 효과적으로 소수 학습에 미세조정할 수 있는가?
• RQ2 어려운 태스크를 우선시하는 커리큘럼 기반 메타배치 전략이 소수 학습 메타학습에서 수렴 속도와 최종 정확도를 향상시키는가?
• RQ3 DNN 활성화에 대한 스케일링 및 시프팅 연산이 소수 적응을 위한 효과적이고 파라미터 효율적인 전이 메커니즘으로 기능할 수 있는가?
• RQ4 MTL의 성능는 MAML 및 TADAM과 같은 최신 기술 방법과 비교해 극한의 1-shot 및 5-shot 설정에서 어떻게 되는가?
• RQ5 제안된 HT 메타배치 전략이 다양한 벤치마크에서 학습을 가속화하고 강건성을 향상시키는 데 얼마나 기여하는가?

주요 결과

• HT 메타배치 전략을 사용한 MTL은 miniImageNet과 Few-shot CIFAR-100에서 모두 최신 기술 성능를 달성하며, 1-shot 학습에서 MAML보다 최대 7% 향상된다.
• miniImageNet에서 MTL은 단지 8,000개의 메타태스크만 사용해 1-shot 학습에서 71.2%의 정확도를 달성했으며, 이는 MAML의 240,000개 태스크보다 30배 적다. 이는 뛰어난 정확도를 유지한다.
• 제거 분석 결과, MTL 메커니즘과 HT 메타배치 전부가 더 빠른 수렴과 높은 정확도에 기여하며, MTL은 메타학습이 없는 기준 모델보다 1-shot 설정에서 최대 10.2% 향상된다.
• MAML에 ResNet-12를 적용한 경우 HT 메타배치 전략은 평균 1% 향상되며, 전체 MTL을 적용했을 땐 miniImageNet에서 10%, FC100에서 9% 향상된다.
• HT 메타배치 전략 덕분에 MTL은 빠른 수렴을 보이며, FC100에서 1-shot 학습은 약 2,000 반복, 5-shot 학습은 약 1,000 반복 만에 최고 성능에 도달한다.
• 사전 훈련된 DNN을 동결하고 스케일링 및 시프팅 파라미터(SSF)만 메타학습하는 것이, 모든 파라미터를 미세조정하는 것(FT)보다 더 뛰어난 성능을 보이며, 특히 데이터가 적은 환경에서 과적합 감소로 인해 성능 향상이 뚜렷하다.