[논문 리뷰] Meta-Transfer Learning through Hard Tasks

Qianru Sun, Yaoyao Liu외 3명|arXiv (Cornell University)|2019. 10. 07.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 사전 훈련된 DNN 가중치에 대해 작업별 스케일링 및 시프팅 함수를 학습하여, 적은 샘플로도 빠르게 적응할 수 있도록 하는 새로운 메타러닝 프레임워크인 메타-트랜스퍼 러닝(MTL)을 제안한다. 하드 테스크(HT) 메타배치 커리큘럼을 도입함으로써 MTL은 miniImageNet, tieredImageNet, Fewshot-CIFAR100에서 최신 기술 수준의 성능을 달성하며, FC100에서 최대 1.85%의 정확도 향상을 기록하고, 단지 8,000개의 작업으로 수렴함으로써 MAML의 240,000개 작업보다 극적으로 줄였다.

ABSTRACT

Meta-learning has been proposed as a framework to address the challenging few-shot learning setting. The key idea is to leverage a large number of similar few-shot tasks in order to learn how to adapt a base-learner to a new task for which only a few labeled samples are available. As deep neural networks (DNNs) tend to overfit using a few samples only, typical meta-learning models use shallow neural networks, thus limiting its effectiveness. In order to achieve top performance, some recent works tried to use the DNNs pre-trained on large-scale datasets but mostly in straight-forward manners, e.g., (1) taking their weights as a warm start of meta-training, and (2) freezing their convolutional layers as the feature extractor of base-learners. In this paper, we propose a novel approach called meta-transfer learning (MTL) which learns to transfer the weights of a deep NN for few-shot learning tasks. Specifically, meta refers to training multiple tasks, and transfer is achieved by learning scaling and shifting functions of DNN weights for each task. In addition, we introduce the hard task (HT) meta-batch scheme as an effective learning curriculum that further boosts the learning efficiency of MTL. We conduct few-shot learning experiments and report top performance for five-class few-shot recognition tasks on three challenging benchmarks: miniImageNet, tieredImageNet and Fewshot-CIFAR100 (FC100). Extensive comparisons to related works validate that our MTL approach trained with the proposed HT meta-batch scheme achieves top performance. An ablation study also shows that both components contribute to fast convergence and high accuracy.

연구 동기 및 목표

• 제한된 레이블 데이터를 가진 딥 네ural 네트워크(DNN)를 사용할 때의 과적합 문제를 해결하기 위해.
• 얕은 네트워크에 의존하거나 DNN의 비효율적 편집에 의존하는 기존 메타러닝 방법의 한계를 극복하기 위해.
• 전체 편집 없이도 적응형 일반화 성능을 향상시킬 수 있도록 사전 훈련된 DNN를 지식 기반으로 활용하기 위해.
• 어려운 작업을 우선순위로 하는 커리큘럼을 사용해 효율적인 훈련 커리큘럼을 설계하기 위해.
• 다양한 아키텍처와 학습 철학(예: 지도 및 준지도 적응형 학습)에 걸쳐 MTL의 일반화 능력을 입증하기 위해.

제안 방법

• 모든 파라미터를 편집하는 대신, 사전 훈련된 DNN 가중치에 대해 작업별 스케일링 및 시프팅 함수를 학습하는 메타-트랜스퍼 러닝(MTL)을 제안한다.
• 특징 추출기 Θ와 분류기 θ 모두에 스케일링 및 시프팅(SS) 연산을 적용하여, 최소한의 학습 가능 파라미터로 효율적인 적응을 가능하게 한다.
• 메타훈련 중에 어려운 작업을 우선순위로 하는 하드 테스크(HT) 메타배치 기법을 도입하여, 학습 효율성을 향상시키는 커리큘럼 역할을 한다.
• 내부 루프는 소수의 샘플로 구성된 적응형 작업에서 기본 학습기를 적응시키고, 외부 루프는 검증 성능을 기반으로 메타파라미터를 업데이트하는 이중 루프 최적화를 사용한다.
• 메타훈련 중에는 사전 훈련된 ResNet-12, ResNet-18, ResNet-25를 기반 네트워크로 사용하며, 스케일링 및 시프팅 파라미터만 업데이트한다.
• 다양한 기본 학습기 유형에 맞게 SS 연산을 조정함으로써, 지도 및 준지도 적응형 학습 모두에 MTL 프레임워크를 일반화한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 DNN에 대해 스케일링 및 시프팅 함수를 적용한 메타-트랜스퍼 러닝이 표준 편집 및 메타러닝 기반 모델보다 적응형 학습에서 더 뛰어난 성능을 내는가?
• RQ2 제안된 하드 테스크(HT) 메타배치 커리큘럼이 기존의 메타배치 샘플링 방식보다 수렴 속도를 빠르게 하고 정확도를 향상시키는가?
• RQ3 MTL이 다양한 DNN 아키텍처(예: ResNet-12, ResNet-18, ResNet-25)를 사용할 때 적응형 학습 환경에서 얼마나 효과적인가?
• RQ4 MTL이 지도 및 준지도 적응형 학습 철학 모두에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ5 HT 메타배치 기법이 더 어려운 벤치마크인 FC100에서 학습 효율성을 얼마나 향상시키는가?

주요 결과

• MTL은 SS[Θ;θ]를 적용하여 miniImageNet, tieredImageNet, Fewshot-CIFAR100에서 최신 기술 수준의 성능을 달성했으며, 1-shot miniImageNet에서 메타러닝 없이 훈련한 경우 대비 10.6%의 정확도 향상을 기록했다.
• HT 메타배치 기법은 다양한 벤치마크에서 정확도를 0.6%~2.2% 향상시켰으며, 더 어려운 FC100 데이터셋에서 평균 1.85%의 정확도 향상을 기록했다.
• MTL은 miniImageNet에서는 약 8,000개의 작업, FC100에서는 약 6,000개의 작업으로 수렴하며, MAML의 240,000개 작업 대비 극적으로 향상된 성능를 보였다.
• 사전 훈련된 특징 추출기 Θ를 동결하고 분류기 θ만 스케일링 및 시프팅을 통해 메타러닝하는 방식이 1-shot miniImageNet에서 전체 편집 방식보다 약 5% 높은 성능를 기록했다.
• HT 메타배치 기법은 모든 모델과 벤치마크에서 검증 성능을 일관되게 향상시켰으며, 특히 FC100에서 가장 큰 향상을 보였다.
• MTL 프레임워크는 잘 일반화되었으며, 전통적인 지도 학습 모델과 최신 준지도 적응형 학습 모델 모두에서 성능 향상을 이끌었다.