[논문 리뷰] Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

Chelsea Finn, Pieter Abbeel외 1명|arXiv (Cornell University)|2017. 03. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 5,758

한 줄 요약

모델-에 구애받지 않는 메타러닝 알고리즘(MAML)을 정의합니다. 이 알고리즘은 감독 학습과 강화 학습 영역에서 다양한 새로운 작업에 대해 몇 차례의 경사 단계로 빠르게 적응하도록 모델을 훈련시킵니다.

ABSTRACT

We propose an algorithm for meta-learning that is model-agnostic, in the sense that it is compatible with any model trained with gradient descent and applicable to a variety of different learning problems, including classification, regression, and reinforcement learning. The goal of meta-learning is to train a model on a variety of learning tasks, such that it can solve new learning tasks using only a small number of training samples. In our approach, the parameters of the model are explicitly trained such that a small number of gradient steps with a small amount of training data from a new task will produce good generalization performance on that task. In effect, our method trains the model to be easy to fine-tune. We demonstrate that this approach leads to state-of-the-art performance on two few-shot image classification benchmarks, produces good results on few-shot regression, and accelerates fine-tuning for policy gradient reinforcement learning with neural network policies.

연구 동기 및 목표

• 그라디언트 기반 메타러닝 접근법을 사용하여 다양한 작업에서 빠른 적응을 촉진한다.
• 경사 하강에 의해 학습되는 모든 모델과 호환되는 일반 알고리즘을 개발한다.
• 새로운 작업에서 작은 그래디언트 업데이트가 높은 성능을 낼 수 있도록 모델 파라미터를 훈련시킨다.
• 적은 샷 회귀 및 분류에서의 빠른 적응과 강화 학습 미세 조정의 가속화를 시연한다.

제안 방법

• 새로운 작업에서 하나 또는 몇 차례의 경사 업데이트로 좋은 성능이 나오도록 초기 매개변수를 최적화하는 MAML을 제안한다.
• 다층 최적화를 사용한다: 메타 목표가 p(T)에서 샘플링된 작업들에 대한 업데이트 후 성능을 평가한다.
• 그레이디언트 업데이트를 통해 역전파하여 메타-그래디언트를 계산한다(2차 도함수가 필요); 1차 근사에 대해 논의한다.
• 작업별 데이터와 손실을 갖는 지도 학습(분류 및 회귀)과 강화 학습에 적용한다.
• 다양한 아키텍처(완전 연결, 합성곱, 순환)와 손실 유형과의 호환성을 시연한다.
• SGD 기반의 메타 업데이트 규칙과 계산상의 고려사항에 대한 실용적 참고를 제공한다.

실험 결과

연구 질문

• RQ1 MAML이 도메인 간 새로운 작업의 빠른 학습을 가능하게 할 수 있는가?
• RQ2 적은 샷 지도학습과 강화학습에 대해 MAML이 효과적인가?
• RQ3 학습된 초기화가 테스트 시점에 추가 경사 업데이트나 데이터로 계속 개선되는가?

주요 결과

• MAML은 few-shot 이미지 분류 벤치마크(Omniglot 및 MiniImagenet)에서 최첨단 또는 경쟁력 있는 성과를 달성한다.
• MAML은 few-shot 회귀에서 강력한 성능을 보이며 보지 못한 사인파 함수에 빠르게 일반화하는 것을 시연한다.
• 강화 학습에서 MAML은 새로운 작업에 대한 정책 미세 조정을 가속화하고 표준 사전 학습 기반선을 능가한다.
• MAML의 1차 근사는 전체 2차 도함수 버전에 거의 비슷한 성능을 보이며 속도 향상을 제공한다.
• 이 방법은 모델- 및 작업에 구애받지 않는 특성을 가지며 미분 가능한 지도 학습 손실과 비미분 가능 RL 목적 모두에 적용될 수 있다.