[論文レビュー] Meta-Learning Probabilistic Inference For Prediction

Jonathan Gordon, John Bronskill+3 more|arXiv (Cornell University)|May 24, 2018

Machine Learning and Data Classification被引用数 72

ひとこと要約

本稿では、事後予測分布をアンモタイズすることにより、従来の手法を一般化する確率的推論のためのメタラーニングフレームワーク、ML-PIPを紹介する。VERSAはML-PIPの具体例であり、1回の順伝播で少データからのタスク固有パラメータを予測する柔軟な推論ネットワークを用い、OmniglotおよびminiImageNetで最先端の性能を達成するとともに、1ショット3Dビュー再構成において優れた視覚的品質を実現した。

ABSTRACT

This paper introduces a new framework for data efficient and versatile learning. Specifically: 1) We develop ML-PIP, a general framework for Meta-Learning approximate Probabilistic Inference for Prediction. ML-PIP extends existing probabilistic interpretations of meta-learning to cover a broad class of methods. 2) We introduce VERSA, an instance of the framework employing a flexible and versatile amortization network that takes few-shot learning datasets as inputs, with arbitrary numbers of shots, and outputs a distribution over task-specific parameters in a single forward pass. VERSA substitutes optimization at test time with forward passes through inference networks, amortizing the cost of inference and relieving the need for second derivatives during training. 3) We evaluate VERSA on benchmark datasets where the method sets new state-of-the-art results, handles arbitrary numbers of shots, and for classification, arbitrary numbers of classes at train and test time. The power of the approach is then demonstrated through a challenging few-shot ShapeNet view reconstruction task.

研究の動機と目的

• 点推定解釈を超えた近似推論のための統一的確率的フレームワークを構築すること。
• テスト時の反復的最適化を排除し、推論ネットワークを1回の順伝播で通過することで、高速でデータ効率の良い少データ学習を可能にすること。
• 訓練時およびテスト時において任意のショット数とクラス数をサポートすることで、現実世界の少データシナリオにおける柔軟性を高めること。
• 標準ベンチマークおよび挑戦的な1ショット3Dビュー再構成タスクにおいて、手法の有効性を示すこと。

提案手法

• メタラーニングをタスク固有パラメータのアンモタイズド事後予測推論として定式化するML-PIPフレームワークを提案する。
• 共有のグローバルパラメータθとタスク固有パラメータψ(t)を有する階層的確率的モデルを用い、マルチタスク学習およびトランスファーラーニングを可能にする。
• 少データデータセットDをタスク固有パラメータの分布へマップするアンモタイズドネットワークqφ(ψ|D)を用い、1回の順伝播で推論を実行する。
• 訓練目的を、タスク全体における真の事後予測分布と近似事後予測分布の期待KLダイバージェンスの最小化として定義する。
• qφ(ψ|D)に因子化されたガウス分布を用い、平均と分散を深層ニューラルネットワークで予測することで、エンドツーエンドの学習を可能にする。
• テスト時の最適化を避けることで、訓練時の2階微分の必要性を回避し、代わりに推論ネットワークの推論に依存する。

実験結果

リサーチクエスチョン

• RQ1 統一的確率的フレームワークは、点推定解釈を超えて、既存のメタラーニング手法を一般化できるか？
• RQ2 タスク固有パラメータのアンモタイズド推論は、最小限のテスト時計算量で最先端の少データ学習性能を達成できるか？
• RQ3 訓練時の条件とは異なる場合でも、テスト時に任意のショット数とクラス数に一般化できるか？
• RQ4 本手法は、1枚の2D画像から複雑な3Dオブジェクトのビューを少データ設定で効果的に再構成できるか？

主な発見

• Omniglotでは1ショットで99.70% ± 0.20、5ショットで99.75% ± 0.13の精度を達成し、MAMLやプロトタイプネットワークを含む先行手法を上回った。
• miniImageNetでは1ショットで97.66% ± 0.29、5ショットで98.77% ± 0.18の精度を達成し、新たな最先端結果を樹立した。
• 1ショットShapeNetビュー再構成では、テストMSEが0.0108、SSIMが0.7893を達成し、C-VAEベースラインを顕著に上回った。
• 視覚的結果では、VERSAはC-VAEよりもシャープで詳細な画像を生成し、未観測のオブジェクト方向への一般化性能が優れていた。
• 未学習のショット数およびウェイの組み合わせに対しても一般化でき、ゼロショット少データ転移設定におけるロバスト性を示した。
• 定量的および定性的な結果から、VERSAによるアンモタイズド推論が、テスト時の反復的最適化を伴わず、高速で正確かつ柔軟な少データ予測を可能にすることが確認された。