[논문 리뷰] Alpha MAML: Adaptive Model-Agnostic Meta-Learning

Harkirat Behl, Atılım Güneş Baydin외 1명|arXiv (Cornell University)|2019. 05. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 54

한 줄 요약

Alpha MAML은 온라인 하이퍼파라미터 적응을 통해 학습률 튜닝을 줄이고 Omniglot의 소수 샷 태스크에서 학습 안정성을 개선하기 위해 MAML을 확장합니다.

ABSTRACT

Model-agnostic meta-learning (MAML) is a meta-learning technique to train a model on a multitude of learning tasks in a way that primes the model for few-shot learning of new tasks. The MAML algorithm performs well on few-shot learning problems in classification, regression, and fine-tuning of policy gradients in reinforcement learning, but comes with the need for costly hyperparameter tuning for training stability. We address this shortcoming by introducing an extension to MAML, called Alpha MAML, to incorporate an online hyperparameter adaptation scheme that eliminates the need to tune meta-learning and learning rates. Our results with the Omniglot database demonstrate a substantial reduction in the need to tune MAML training hyperparameters and improvement to training stability with less sensitivity to hyperparameter choice.

연구 동기 및 목표

• MAML이 소수 샷 학습에서 필요한 강한 하이퍼파라미터 튜닝을 줄이는 것을 동기화합니다.
• Inner와 meta 업데이트 모두에서 학습률을 온라인으로 적응시키는 스킴으로 Alpha MAML을 도입합니다.
• 적응형 하이퍼파라미터가 학습 안정성을 개선하고 초기 값에 대한 민감도를 줄임을 보여줍니다.
• Omniglot에서 표준 MAML보다 더 강건하고 더 빠르게 수렴하는 것을 입증합니다.

제안 방법

• MAML을 바탕으로 내부 학습률 alpha와 메타 학습률 beta에 대한 온라인 업데이트를 도입합니다.
• 메타 목적함수에 적용된 하이퍼그래드센트를 사용하여 alpha와 beta의 업데이트 규칙을 유도합니다.
• alpha와 beta 업데이트가 기존 그래디언트를 재사용할 수 있어 추가적인 그래디언트 계산을 피할 수 있음을 보입니다.
• theta, alpha, beta 및 그들의 하이퍼그래디언트들을 결합하는 네 가지 업데이트 방정식을 제공합니다.
• 보조문에서 해당 일반 업데이트 도출과 함께 멀티태스크 배치로 확장합니다.

실험 결과

연구 질문

• RQ1 온라인 하이퍼그래드센트를 통해 MAML 학습 중 내부 및 메타 학습률을 적응시켜 초기 하이퍼파라미터에 대한 민감도를 줄일 수 있습니까?
• RQ2 Alpha MAML이 소수 샷 태스크에서 표준 MAML보다 더 안정적으로 수렴하고 하이퍼파라미터 튜닝이 덜 필요합니까?
• RQ3 Omniglot에서 Alpha MAML은 수렴 및 하이퍼파라미터에 대한 강건성 측면에서 MAML과 어떻게 비교됩니까?

주요 결과

• Alpha MAML은 학습 중에 alpha와 beta를 자동으로 온라인으로 튜닝합니다.
• 이 방법은 MAML과 비교하여 초기 하이퍼파라미터 선택에 대한 민감도를 줄입니다.
• Alpha MAML은 Omniglot에서 다양한 초기 값에 대해 학습 안정성과 수렴이 향상됨을 보여줍니다.
• 그리드 탐색 실험은 Alpha MAML이 고정된 반복 내에 수렴하지 않는 하이퍼파라미터 설정에서도 수렴함을 나타냅니다.