[논문 리뷰] Gradient-EM Bayesian Meta-learning

Yayi Zou, Xiaoqi Lu|arXiv (Cornell University)|2020. 06. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 10인용 수 4

한 줄 요약

이 논문은 내부 최적화 단계를 통해 역전파를 피하는 기울기-EM 유사 알고리즘을 통해 내부 업데이트와 메타 업데이트를 분리하는 새로운 베이지안 메타학습 프레임워크인 Gradient-EM 베이지안 메타학습(GEM-BML)을 제안한다. 이는 소수의 샘플에서 회귀, 이미지 분류, 강화학습 작업 전반에 걸쳐 더 빠른 적응, 향상된 불확실성 추정, 그리고 감소된 계산 비용을 달성한다.

ABSTRACT

Bayesian meta-learning enables robust and fast adaptation to new tasks with uncertainty assessment. The key idea behind Bayesian meta-learning is empirical Bayes inference of hierarchical model. In this work, we extend this framework to include a variety of existing methods, before proposing our variant based on gradient-EM algorithm. Our method improves computational efficiency by avoiding back-propagation computation in the meta-update step, which is exhausting for deep neural networks. Furthermore, it provides flexibility to the inner-update optimization procedure by decoupling it from meta-update. Experiments on sinusoidal regression, few-shot image classification, and policy-based reinforcement learning show that our method not only achieves better accuracy with less computation cost, but is also more robust to uncertainty.

연구 동기 및 목표

• 베이지안 메타학습에서 내부 최적화 단계를 통해 역전파하는 데 기인한 높은 계산 비용 문제를 해결한다.
• 베이지안 추론을 활용해 소수의 학습 및 강화학습에서의 강인성과 불확실성 캘리브레이션을 향상시킨다.
• 내부 업데이트와 메타 업데이트 과정을 분리하여 최적화 선택의 유연성을 높이고 분산 또는 개인 정보 보호 학습을 지원한다.
• 이전에 체계적으로 다루지 않은 강화학습 환경으로까지 경험 베이지안 프레임워크를 확장한다.
• 기존의 은닉 미분 또는 이阶 도함수에 의존하는 기울기 기반 베이지안 메타학습 방법의 대안으로 확장 가능하고 효율적인 방법을 개발한다.

제안 방법

• 내부 최적화 경로를 통해 역전파하지 않고도 메타 기울기를 계산하는 기울기-EM 기반 알고리즘을 제안한다.
• 작업별 파라미터의 사후분포에 대한 변분 근사(approximation)를 사용하여 메타 손실 기울기의 효율적 계산을 가능하게 한다.
• 내부 최적화된 파라미터의 최종 값에만 의존함으로써 메타 업데이트를 내부 업데이트로부터 완전히 분리한다.
• 통일된 베이지안 메타학습 공식을 사용해 지도 학습 및 강화학습 환경 모두에 이 방법을 적용한다.
• 정책 기반 강화학습에서 안정적인 학습을 가능하게 하면서도 계산 효율성을 유지하는 데 기여하는 수정된 손실 함수 $ L^{[2]} $ 를 도입한다.
• 기울기-EM 정리의 이론적 기반을 활용해 메타 파라미터에 대한 안정적이고 확장 가능한 업데이트 규칙을 유도한다.

실험 결과

연구 질문

• RQ1 내부 최적화 과정을 통해 역전파를 피하면서도 성능을 유지할 수 있는 베이지안 메타학습 방법을 설계할 수 있는가?
• RQ2 내부 업데이트와 메타 업데이트를 분리함으로써 소수의 학습에서 불확실성 추정과 강인성에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 이전에 베이지안 메타학습 접근 방식이 어려웠던 정책 기반 강화학습에 성공적으로 확장될 수 있는가?
• RQ4 $ L^{[2]} $ 변형이 강화학습 환경에서 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 정확도나 불확실성 캘리브레이션을 희생시키지 않고 계산 효율성이 얼마나 향상되는가?

주요 결과

• 제안된 GEM-BML 방법은 내부 최적화 단계를 통해 역전파할 필요가 없어지면서 메타 업데이트의 계산 비용을 감소시킨다.
• GEM-BML은 더 적은 내부 업데이트 단계와 낮은 메모리 사용량으로도 사인파 회귀와 소수의 이미지 분류에서 최신 기준 성능을 달성한다.
• 강화학습에서는 $ L^{[2]} $ 변형이 안정적이고 효과적인 학습을 가능하게 하여, 정책 기반 강화학습에 대한 첫 번째 성공적인 베이지안 메타학습 프레임워크임을 입증한다.
• 기존의 결정론적 MAML 및 기타 기울기 기반 기준 대비 더 신뢰할 수 있는 예측 불확실성 추정을 제공한다.
• 실험 결과, GEM-BML는 표준 MAML 방식의 방법으로는 비현실적인 수준의 많은 내부 업데이트 단계를 사용할 때에도 높은 정확도를 유지함을 보였다.
• 분리된 업데이트 메커니즘 덕분에 분산 또는 개인정보 보호 학습에 응용 가능성이 열려 있으며, 기울기가 기기 간에 전송될 필요가 없기 때문이다.