[論文レビュー] Bayesian Model-Agnostic Meta-Learning

Taesup Kim, Jaesik Yoon+4 more|arXiv (Cornell University)|Jun 11, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 163

ひとこと要約

BMAMLを提案する。これはMAMLのベイズ拡張で、Stein Variational Gradient Descentを用いて高速適応時に柔軟なタスク後分布を得るとともに、メタ過適合を緩和するChaser損失を導入する。監視学習、アクティブ学習、強化学習タスクに適用可能。

ABSTRACT

Learning to infer Bayesian posterior from a few-shot dataset is an important step towards robust meta-learning due to the model uncertainty inherent in the problem. In this paper, we propose a novel Bayesian model-agnostic meta-learning method. The proposed method combines scalable gradient-based meta-learning with nonparametric variational inference in a principled probabilistic framework. During fast adaptation, the method is capable of learning complex uncertainty structure beyond a point estimate or a simple Gaussian approximation. In addition, a robust Bayesian meta-update mechanism with a new meta-loss prevents overfitting during meta-update. Remaining an efficient gradient-based meta-learner, the method is also model-agnostic and simple to implement. Experiment results show the accuracy and robustness of the proposed method in various tasks: sinusoidal regression, image classification, active learning, and reinforcement learning.

研究の動機と目的

• ベイズ推論を通じてモデル不確実性に対処し、堅牢な少数ショット学習を動機づける。
• 非ガウス的なタスク後の不確実性を捉えられる勾配ベースのメタ学習法を開発する。
• 効率的な高速適応と原理的なメタ更新を可能にし、メタ過適合を回避する。
• ベイズMAMLを監視学習、アクティブ学習、強化学習タスクに適用できることを示す。

提案手法

• 複数粒子Θ0を用いて p(θτ|Dτtrn,Θ0) からサンプルするSVGDを用いたBayesian Fast Adaptation (BFA) を導入する。
• タスク訓練データを通じて粒子を伝搬させ、タスク特異的後方分布 Θτ(Θ0) を形成するためにSVGDを用いる。
• 追加のSVGDステップと拡張データを用いて得られる高忠実度な後方分布（リーダー）と高速適応後の後方分布との乖離に基づくメタ損失を定義する。
• チェイサー損失を提案し、Θ0がチェイサーを速やかにリーダーに追従するよう導き、メタ過適合を軽減する。
• 大規模ネットワークでの空間計算量を削減するために粒子間でパラメータを共有する（例: 共有特徴抽出器、粒子ごとに分類器）。
• 実験を通じて監視学習、アクティブ学習、強化学習への適用可能性を実証する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのメタ学習法は、単純なガウス近似を超えた複雑で非ガウス的なタスク後の不確実性を捉えられるか。
• RQ2 効率的な高速適応と原理的なメタ更新を備えたベイズ的メタ学習フレームワークは、メタレベルの過適合を減らし、タスク間のロバスト性を向上させるか。
• RQ3 標準のMAMLと比較して、SVGDによるベイズ ensembleは正弦波回帰、画像分類、アクティブ学習、強化学習設定でどの程度性能を発揮するか。
• RQ4 粒子間のパラメータ共有は大規模ネットワークへおけるベイズMAMLのスケーラビリティを損なうことなく向上させられるか。

主な発見

• BMAMLは正弦波回帰でEMAMLおよび標準のMAMLを上回り、特に不確実性が大きい場合や訓練タスク数/ショットが少ない場合に優れる。
• ミニImagenet分類では、共有特徴抽出器を用いたBMAMLは複数の粒子数でEMAMLを上回り、メタ訓練タスク数が少なくても頑健性を示す。
• BMAMLは高不確実性サンプルを選択することでアクティブ学習を可能にし、EMAMLより良い性能を示す。
• 強化学習では、SVPGベースの更新を用いるBMAMLがEMAMLより優れた探索と性能を達成し、特にメタ更新子としてTRPOを用いる場合に顕著。
• 粒子間のパラメータ共有は空間計算量を緩和しつつ性能を維持または向上させる。
• BMAMLは予測精度の向上、過剰適合への頑健性、タスク間の効率的な探索を提供する。