[논문 리뷰] Bayesian Model-Agnostic Meta-Learning

Taesup Kim, Jaesik Yoon외 4명|arXiv (Cornell University)|2018. 06. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 163

한 줄 요약

BMAML을 제안하는, MAML의 베이지안 확장으로서 Stein Variational Gradient Descent를 사용하여 빠른 적응 중에 유연한 task-posterior를 얻고, 메타-오버피팅을 완화하기 위해 Chaser 손실을 도입하는 MAML의 베이지안 확장으로, 감독 학습, 활성 학습, 강화 학습 과제에 적용 가능합니다.

ABSTRACT

Learning to infer Bayesian posterior from a few-shot dataset is an important step towards robust meta-learning due to the model uncertainty inherent in the problem. In this paper, we propose a novel Bayesian model-agnostic meta-learning method. The proposed method combines scalable gradient-based meta-learning with nonparametric variational inference in a principled probabilistic framework. During fast adaptation, the method is capable of learning complex uncertainty structure beyond a point estimate or a simple Gaussian approximation. In addition, a robust Bayesian meta-update mechanism with a new meta-loss prevents overfitting during meta-update. Remaining an efficient gradient-based meta-learner, the method is also model-agnostic and simple to implement. Experiment results show the accuracy and robustness of the proposed method in various tasks: sinusoidal regression, image classification, active learning, and reinforcement learning.

연구 동기 및 목표

• 모델 불확실성을 베이지안 추론으로 다룸으로써 강건한 소수-shot 학습을 촉진한다.
• 비가우시안 태스크 포스터리어 불확실성을 포착할 수 있는 gradient 기반 메타학습 방법을 개발한다.
• 메타-오버피팅을 피하기 위한 효율적인 빠른 적응과 체계적인 메타 업데이트를 가능하게 한다.
• 감독 학습, 활성 학습, 강화 학습 과제에 대한 Bayesian MAML의 적용 가능성을 입증한다.

제안 방법

• 여러 개의 입자 Θ0를 사용하여 p(θτ|Dτtrn,Θ0)로부터 샘플링하기 위해 SVGD를 사용한 Bayesian Fast Adaptation(BFA)을 도입한다.
• SVGD를 사용하여 파티클을 태스크-트레인 데이터에 전파하여 태스크-특정 포스터리어 Θτ(Θ0)를 형성한다.
• 추가 SVGD 단계와 증강 데이터로 얻은 더 높은 충실도의 포스터리어(리더)와의 차이에 기반한 메타-손실을 정의한다.
• 추종자(Chaser) 손실을 제안하여 Θ0를 가이드하고 추종자가 빠르게 리더를 따르도록 하여 메타-오버피팅을 줄인다.
• 큰 네트워크에서 공간 복잡도를 줄이기 위해 파티클 간에 매개변수를 공유한다(예: 공유 피처 추출기, 파티클별 분류기).
• 실험을 통해 감독 학습, 활성 학습, 강화 학습에의 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 그라디언트 기반 메타학습 방법이 간단한 가우시안 근사를 넘어 복잡하고 비가우시안인 태스크 포스터리어 불확실성을 포착할 수 있는가?
• RQ2 효율적인 빠른 적응과 체계적인 메타 업데이트를 갖춘 베이지안 메타학습 프레임워크가 메타 수준의 오버피팅을 줄이고 태스크 전반에 걸쳐 강인성을 향상시키는가?
• RQ3 SVGD를 통한 베이지안 앙상블이 sinusoidal 회귀, 이미지 분류, 활성 학습, 강화 학습 환경에서 표준 MAML과 비교하여 어떤 성능을 보이는가?
• RQ4 입자 간 매개변수 공유가 Bayesian MAML을 대형 네트워크에 확장 가능하게 만들 수 있는가, 성능을 희생하지 않고?

주요 결과

• BMAML은 sinusoidal 회귀에서 EMAML 및 표준 MAML보다 뛰어나며, 특히 불확실성이 더 크고 더 적은 학습 작업나 샷일 때 더 우수하다.
• mini-Imagenet 분류에서 공유 피처 추출기를 갖춘 BMAML은 여러 파티클 수에서도 EMAML을 능가하며, 메타-학습 태스크 수가 적을 때도 강인성을 보인다.
• BMAML은 높은 불확실성 샘플을 선택하여 활성 학습을 가능하게 하며 EMAML보다 더 나은 성능을 보인다.
• 강화 학습에서 SVPG 기반 업데이트를 가진 BMAML은 EMAML보다 탐색 및 성능이 우수하며, 특히 TRPO를 메타-업데이트로 사용할 때 그렇다.
• 입자 간 매개변수 공유는 공간 복잡도를 완화하면서 성능을 유지하거나 향상시킨다.
• BMAML은 예측 정확도 향상, 과적합에 대한 강인성, 및 과제 전반에 걸친 효율적인 탐색을 제공한다.