[논문 리뷰] Rapid Learning or Feature Reuse? Towards Understanding the Effectiveness of MAML

Aniruddh Raghu, Maithra Raghu외 2명|arXiv (Cornell University)|2019. 09. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 96

한 줄 요약

요약: 이 논문은 MAML의 성공을 주로 설명하는 요인이 빠른 학습이 아니라 특징 재사용임을 보여주고, 경쟁력 있는 성능을 가진 단순화된 테스트 시 변형인 ANIL과 NIL을 도입한다.

ABSTRACT

An important research direction in machine learning has centered around developing meta-learning algorithms to tackle few-shot learning. An especially successful algorithm has been Model Agnostic Meta-Learning (MAML), a method that consists of two optimization loops, with the outer loop finding a meta-initialization, from which the inner loop can efficiently learn new tasks. Despite MAML's popularity, a fundamental open question remains -- is the effectiveness of MAML due to the meta-initialization being primed for rapid learning (large, efficient changes in the representations) or due to feature reuse, with the meta initialization already containing high quality features? We investigate this question, via ablation studies and analysis of the latent representations, finding that feature reuse is the dominant factor. This leads to the ANIL (Almost No Inner Loop) algorithm, a simplification of MAML where we remove the inner loop for all but the (task-specific) head of a MAML-trained network. ANIL matches MAML's performance on benchmark few-shot image classification and RL and offers computational improvements over MAML. We further study the precise contributions of the head and body of the network, showing that performance on the test tasks is entirely determined by the quality of the learned features, and we can remove even the head of the network (the NIL algorithm). We conclude with a discussion of the rapid learning vs feature reuse question for meta-learning algorithms more broadly.

연구 동기 및 목표

• MAML의 성공이 빠른 태스크 특화 적응에서 비롯되는지 아니면 메타 초기화에 내재된 재사용 가능한 특징에서 비롯되는지 조사한다.
• 네트워크의 서로 다른 구성 요소(바디와 헤드)가 극소샷 학습 성능에 어떻게 기여하는지 특성화한다.
• 계산량을 줄이면서도 성능을 유지하는 단순화된 대안들(ANIL, NIL)을 개발한다.
• 메타 학습 모델의 특징 품질과 태스크 특이성에 대한 학습 체제가 미치는 영향을 이해한다.

제안 방법

• 다른 네트워크 부분에서 내부 루프 업데이트의 필요성을 평가하기 위해 층 고정 실험을 수행한다.
• 내부 루프 적응 전후의 잠재 표현 변화를 측정하기 위해 표현 유사성 분석(CCA, CKA)을 사용한다.
• 내부 루프에서 헤드만 업데이트되는 단순화된 ANIL 변형과 MAML을 비교한다.
• 레이블링을 위한 코사인 유사도를 이용한 바디 표현을 사용하여 테스트 시 NIL을 탐구한다.
• 표준 극소샷 벤치마크(Omniglot, MiniImageNet)와 강화 학습 작업 전반에 대해 평가한다.

실험 결과

연구 질문

• RQ1 MAML의 효과가 빠른 내부 루프 학습에서 비롯되는지 아니면 메타 초기화의 재사용 가능한 특징에서 비롯되는지인가?
• RQ2 네트워크의 바디(초기 층)와 헤드(최종 층)가 극소샷 학습 성능에 어떻게 기여하는가?
• RQ3 정확도 손실 없이 MAML을 단순화할 수 있는가, 그리고 계산에서의 트레이드오프는 무엇인가?
• RQ4 학습 체제(멀티태스크, 멀티클래스, NIL)가 학습된 특징의 품질과 태스크 특이성에 영향을 주는가?

주요 결과

레이어 고정(바디)	MiniImageNet-5way-1샷	MiniImageNet-5way-5샷
None	46.9 ± 0.2	63.1 ± 0.4
1	46.5 ± 0.3	63.0 ± 0.6
1,2	46.4 ± 0.4	62.6 ± 0.6
1,2,3	46.3 ± 0.4	61.2 ± 0.5
1,2,3,4	46.3 ± 0.4	61.0 ± 0.6

• 바디 층을 고정해도 성능 손실이 거의 없음을 보여주는 것처럼 특징 재사용이 MAML의 효율적 학습의 지배적 요인이다.
• 컨볼루셔널 바디 표현은 내부 루프 업데이트 전후에 매우 유사하게 유지되며(CCA/CKA > 약 0.9), 반면 헤드는 상당히 변화한다.
• ANIL(Almost No Inner Loop)은 표준 벤치마크에서 MAML의 성능과 일치하며 계산을 크게 줄인다.
• 테스트 시 바디 특징과 코사인 유사도만을 사용한 NIL(No Inner Loop)은 여러 작업에서 MAML/ANIL에 상응하는 성능을 달성한다.
• MAML/ANIL으로의 학습은 바디에 대해 다중 클래스, 다중 작업 또는 무작위 특징 체계에 비해 우수한 특징을 생성한다.
• 헤드는 학습 중에 좋은 특징을 학습하는 데 중요하지만 테스트 시에는 바디의 특징만으로도 보지 않은 태스크를 처리할 수 있다.