[論文レビュー] Recasting Gradient-Based Meta-Learning as Hierarchical Bayes

Erin Grant, Chelsea Finn+3 more|arXiv (Cornell University)|Jan 26, 2018

Gaussian Processes and Bayesian Inference参考文献 36被引用数 167

ひとこと要約

本研究は、勾配ベースのメタ学習（MAML）がベイズ階層推論として解釈可能であることを示し、MAMLを経験的ベイズと結びつけ、性能とスケーラビリティを高めるためのベイズ風の改善を提案する。

ABSTRACT

Meta-learning allows an intelligent agent to leverage prior learning episodes as a basis for quickly improving performance on a novel task. Bayesian hierarchical modeling provides a theoretical framework for formalizing meta-learning as inference for a set of parameters that are shared across tasks. Here, we reformulate the model-agnostic meta-learning algorithm (MAML) of Finn et al. (2017) as a method for probabilistic inference in a hierarchical Bayesian model. In contrast to prior methods for meta-learning via hierarchical Bayes, MAML is naturally applicable to complex function approximators through its use of a scalable gradient descent procedure for posterior inference. Furthermore, the identification of MAML as hierarchical Bayes provides a way to understand the algorithm's operation as a meta-learning procedure, as well as an opportunity to make use of computational strategies for efficient inference. We use this opportunity to propose an improvement to the MAML algorithm that makes use of techniques from approximate inference and curvature estimation.

研究の動機と目的

• 関連タスク間での高速適応を、事前の学習エピソードを用いて動機付ける。
• メタ学習を階層ベイズモデルにおける推論として公式化する。
• MAMLを経験的ベイズおよびベイズ後方推定と結びつけ、理論的根拠を提供する。
• 近似推論と曲率対応更新を用いてMAMLの改善を提案する。

提案手法

• 共有メタパラメータ theta とタスク固有の phi_j を用いた階層ベイズモデルにおける推論としてMAMLを再定式化する。
• MAMLの内側ループの勾配ステップが theta に条件付けられた phi_j の事前分布に対応することを示す。
• phi_j の点推定を用いて theta に関して MAML目的関数と周辺尤度最大化の等価性を導出する。
• Laplace近似と曲率ベースの事前条件付けを用いて周辺尤度をより適切に近似する改善を提案する。
• 早期停止がタスク固有パラメータに対する事前分布を誘導する役割を論じる。
• ベイズ的アイデアをメタ学習ループに組み込んだアルゴリズム的変種（例: MAML-HB）を提供する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのメタ学習はベイズ階層推論として解釈できるか。
• RQ2 ベイズ的レンズを通してMAMLをみると、アルゴリズムの成功と限界はどのように照らし出されるか。
• RQ3 ベイズ風の改良はMAMLの性能と安定性をどう改善できるか。

主な発見

• MAML は共有メタパラメータ上の周辺尤度最適化を行う経験的ベイズとして理解できる。
• 内側ループの更新はタスク固有パラメータの事前分布として機能し、 theta を介してタスク解を結びつける。
• 早期停止と切り捨てられた勾配更新は階層ベイズ形式の暗黙の事前分布に対応する。
• ラプラス近似と曲率ベースの更新は、不確実性を取り込み推論を改善する原理的な近似を提供する。
• ベイズ的解釈は、単純な線形モデルを超える複雑な関数近似器にも適用可能なアルゴリズム的改善を促進する。