[論文レビュー] Probabilistic Model-Agnostic Meta-Learning

Chelsea Finn, Kelvin Xu+1 more|arXiv (Cornell University)|Jun 7, 2018

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 25

ひとこと要約

この論文では、不確実性を伴う少样本学習タスクにおける複数の妥当なモデルをサンプリングできる、モデルに依存しないメタラーニング（MAML）の確率的拡張であるPLATIPUSを提案する。メタテスト時の推論および訓練時にノイズを注入し、変分下界を介して最適化することで、多様で不確実性に配慮した予測を生成する。この手法は、決定的MAMLに比べてモードカバレッジが向上する一方で、高い精度を維持することを示している。

ABSTRACT

Meta-learning for few-shot learning entails acquiring a prior over previous tasks and experiences, such that new tasks be learned from small amounts of data. However, a critical challenge in few-shot learning is task ambiguity: even when a powerful prior can be meta-learned from a large number of prior tasks, a small dataset for a new task can simply be too ambiguous to acquire a single model (e.g., a classifier) for that task that is accurate. In this paper, we propose a probabilistic meta-learning algorithm that can sample models for a new task from a model distribution. Our approach extends model-agnostic meta-learning, which adapts to new tasks via gradient descent, to incorporate a parameter distribution that is trained via a variational lower bound. At meta-test time, our algorithm adapts via a simple procedure that injects noise into gradient descent, and at meta-training time, the model is trained such that this stochastic adaptation procedure produces samples from the approximate model posterior. Our experimental results show that our method can sample plausible classifiers and regressors in ambiguous few-shot learning problems. We also show how reasoning about ambiguity can also be used for downstream active learning problems.

研究の動機と目的

• 小さなデータセットでは単一の正確なモデルを特定することが不可能であるため、少样本学習におけるタスクの曖昧性に対処すること。
• MAMLの利点を保ちつつ、モデルのサンプリングによって不確実性推定を可能にするスケーラブルな手法を開発すること。
• 不確実性推定を用いてデータ取得を誘導することで、下流のアクティブラーニングを可能にすること。
• アンモトライズド変分推論を用いて、モデルに依存しないメタラーニングを確率的推論へと拡張すること。
• 複数のモデルをサンプリングすることで、曖昧な回帰および分類タスクにおける性能が向上することを示すこと。

提案手法

• MAMLを拡張し、パラメータの一点推定ではなく、パラメータの分布をモデル化する。
• メタテスト時にノイズを勾配降下法に注入する確率的適応手順を導入する。
• アンモトライズド変分推論を用いて、確率的適応がパラメータの真の事後分布を近似できるようにモデルを訓練する。
• ニューラルネットワークの推論ネットワークを用いて、モデル重みの変分事後分布を学習する。
• メタトレーニングタスクの対数尤度の変分下界を最適化することで、正確な事後分布近似を可能にする。
• モデルに依存しない設計を維持し、任意の標準的なニューラルネットワークアーキテクチャへの適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 MAMLの確率的拡張は、曖昧な少样本学習タスクに対して、複数の妥当なモデルを効果的にサンプリングできるか？
• RQ2 ノイズ注入による確率的適応は、決定的MAMLと比較して、モデルの多様性と精度の面でどのように異なるか？
• RQ3 モデルのサンプリングから得られる不確実性推定は、アクティブラーニングのシナリオで性能向上に寄与するか？
• RQ4 提案手法は、高次元のディープニューラルネットワークに対してもスケーラブルであり、不確実性に配慮した性能を維持できるか？
• RQ5 複数の妥当な解を持つマルチモーダルなタスク分布において、この手法はどのように性能を発揮するか？

主な発見

• PLATIPUSは、決定的MAMLと同等の精度（CelebA 5ショットで88.34% ± 1.06%）を達成しながら、はるかに多くのモードを捉えている。
• 曖昧なタスクにおいて、PLATIPUSはKL重み0.15で平均1.94モードをカバーするが、標準MAMLではわずか1.00モードにとどまる。
• この手法は、同じトレーニングセットに対して複数の妥当な解釈を捉えるために、異なる属性に注目する分類器をサンプリングする。
• PLATIPUSはMAMLよりも低い平均負の対数尤度（0.56 ± 0.04）を達成しており、不確実性のキャリブレーションが優れていることを示している。
• サンプル間の合意のなさを用いることで、情報量の多いデータ収集を優先するアクティブラーニングが効果的に可能になる。
• ノイズ注入のみのMAMLはPLATIPUSより性能が悪いことから、効果的な事後分布近似には変分訓練が不可欠であることが示された。