[논문 리뷰] Recasting Gradient-Based Meta-Learning as Hierarchical Bayes

Erin Grant, Chelsea Finn외 3명|arXiv (Cornell University)|2018. 01. 26.

Gaussian Processes and Bayesian Inference참고 문헌 36인용 수 167

한 줄 요약

이 논문은 gradient-based meta-learning (MAML)을 베이지안 계층적 추론으로 해석할 수 있으며, MAML과 empirical Bayes를 연결하고, 성능과 확장성을 향상시키기 위한 Bayesian-inspired 개선을 제안한다.

ABSTRACT

Meta-learning allows an intelligent agent to leverage prior learning episodes as a basis for quickly improving performance on a novel task. Bayesian hierarchical modeling provides a theoretical framework for formalizing meta-learning as inference for a set of parameters that are shared across tasks. Here, we reformulate the model-agnostic meta-learning algorithm (MAML) of Finn et al. (2017) as a method for probabilistic inference in a hierarchical Bayesian model. In contrast to prior methods for meta-learning via hierarchical Bayes, MAML is naturally applicable to complex function approximators through its use of a scalable gradient descent procedure for posterior inference. Furthermore, the identification of MAML as hierarchical Bayes provides a way to understand the algorithm's operation as a meta-learning procedure, as well as an opportunity to make use of computational strategies for efficient inference. We use this opportunity to propose an improvement to the MAML algorithm that makes use of techniques from approximate inference and curvature estimation.

연구 동기 및 목표

• 관련 작업들에 걸친 빠른 적응을 위한 사전 학습 에피소드 활용.
• 메타 학습을 계층적 베이지안 모델에서의 추론으로 형식화한다.
• MAML을 empirical Bayes 및 Bayesian posterior 추정과 연결하여 이론적 근거를 제공한다.
• 근사 추론과 곡률 인지 업데이트를 사용한 MAML의 개선안을 제시한다.

제안 방법

• 공유 메타 매개변수 theta와 작업별 phi_j를 갖는 계층적 베이지안 모델의 추론으로 MAML 재구성.
• MAML의 내부 루프 그래디언트 업데이트가 theta에 조건부인 phi_j에 대한 사전으로 작용함을 보인다.
• phi_j에 대한 점 추정치를 사용하여 theta에 대한 주변가능도(마진 가능도) 최대화와의 등가성을 도출한다.
• 라플라스 근사와 곡률 기반 선처리를 통해 주변가능도보다 더 나은 근사화를 제시한다.
• 조기 중지의 역할을 작업별 매개변수에 대한 사전을 유도하는 것으로 논한다.
• 메타 학습 루프에 Bayesian 아이디어를 통합한 알고리즘 변형들(MAML-HB 등)을 제공한다.

실험 결과

연구 질문

• RQ1 gradient-based meta-learning을 Bayesian 계층적 추론으로 해석할 수 있는가?
• RQ2 Bayesian 관점에서 MAML을 바라보면 알고리즘의 성공과 한계가 어떻게 드러나는가?
• RQ3 Bayesian-inspired 수정으로 MAML의 성능과 안정성을 개선할 수 있는가?

주요 결과

• MAML은 공유 메타 매개변수에 대해 주변가능도 최적화를 수행하는 경험적 베이즈로 이해될 수 있다.
• 내부 루프 업데이트는 작업별 매개변수에 대한 사전으로 작용하여 theta를 통해 작업 솔루션을 연결한다.
• 조기 중지 및 잘라진 그래디언트 업데이트는 계층적 베이지안 형식에서의 암시적 사전에 해당한다.
• 라플라스 방법과 곡률 기반 업데이트는 불확실성을 도입하고 추론을 개선하기 위한 원칙적 근사를 제공한다.
• 베이지안 재해석은 단순 선형 모델을 넘어 복잡한 함수 근사기에도 적용 가능한 알고리즘 개선을 촉진한다.