[논문 리뷰] How to train your MAML

Antreas Antoniou, Harrison Edwards외 1명|arXiv (Cornell University)|2018. 10. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 83

한 줄 요약

본 논문은 학습 안정화, 계산 비용 감소, 일반화 향상을 통해 기존 MAML의 향상_variant인 MAML++를 소개하며, 표준 소샷 벤치마크(Omniglot 및 Mini-ImageNet)에서 최신 성능 결과를 달성한다.

ABSTRACT

The field of few-shot learning has recently seen substantial advancements. Most of these advancements came from casting few-shot learning as a meta-learning problem. Model Agnostic Meta Learning or MAML is currently one of the best approaches for few-shot learning via meta-learning. MAML is simple, elegant and very powerful, however, it has a variety of issues, such as being very sensitive to neural network architectures, often leading to instability during training, requiring arduous hyperparameter searches to stabilize training and achieve high generalization and being very computationally expensive at both training and inference times. In this paper, we propose various modifications to MAML that not only stabilize the system, but also substantially improve the generalization performance, convergence speed and computational overhead of MAML, which we call MAML++.

연구 동기 및 목표

• 적은 데이터로 견고한 소샷 학습과 빠른 적응의 필요성을 촉진한다.
• MAML에서의 안정성, 일반화, 계산 병목을 식별한다.
• 이 문제를 다루기 위한 구조적 및 알고리즘적 개선을 제안한다.
• 표준 소샷 벤치마크에서 향상된 성능과 효율성을 입증한다.

제안 방법

• 학습을 안정화하고 성능을 높이기 위해 6개의 목표가 포함된 개선 세트를 도입하여 MAML을 확장한다.
• 내부 루프의 모든 단계에서 그래디언트를 제공하기 위해 다단계 손실 최적화(MSL)를 도입한다.
• 학습 중 1차-에서 2차- 그래디언트로 전환하기 위해 도함수 차수 어닐링을 적용한다.
• 내부 단계 간에 공유되는 통계를 대체하기 위해 각 단계별 배치 정규화 실행 통계를 사용한다.
• 변화하는 특징 분포에 맞추기 위해 단계별 배치 정규화 가중치와 바이어스를 사용한다.
• 오버헤드를 관리하면서 적응성을 높이기 위해 계층별, 단계별 학습률과 그래디언트 방향을 적용한다.
• 메타 옵티마이저 학습률에 코사인 어닐링을 적용하여 하이퍼파라미터 탐색을 피한다.

실험 결과

연구 질문

• RQ1 MAML의 불안정성과 높은 계산 오버헤드를 일반화 손실을 희생하지 않으면서 완화할 수 있는가?
• RQ2 일련의 목표된 구조적 및 최적화 변화가 더 나은 안정성, 더 빠른 수렴 및 향상된 소샷 정확도를 가져오는가?
• RQ3 개정된 MAML 프레임워크를 사용하여 Omniglot과 Mini-ImageNet에서 최첨단 결과를 달성할 수 있는가?
• RQ4 단계별 통계, 계층별 학습률, 학습률 스케줄링이 태스크 간 메타러닝 성능에 어떤 영향을 미치는가?

주요 결과

• MAML++는 시드와 아키텍처에 걸쳐 학습을 안정화하고 원래의 MAML에 비해 더 빠른 수렴과 더 높은 일반화를 달성한다.
• 제안된 다단계 손실 및 어닐링 전략이 그래디언트 전파와 최종 성능을 향상시킨다.
• 단계별 배치 정규화 통계 및 단계별 바이어스가 수렴 속도와 일반화를 개선한다.
• 계층별 단계별 학습률 및 그래디언트 방향 학습은 관리 가능한 오버헤드에서 유연성을 제공한다.
• 코사인 어닐링된 메타 옵티마이저 학습률은 광범위한 하이퍼파라미터 탐색의 필요성을 줄이면서 성능을 유지한다.
• Omniglot와 Mini-Imagenet에 대한 실증 결과에서 MAML++가 최첨단 성능을 달성하고, 여러 설정에서 기존 방법을 능가한다.