[論文レビュー] Meta-Learning with Shared Amortized Variational Inference

Екатерина Яковлева, Jakob Verbeek+1 more|arXiv (Cornell University)|Aug 27, 2020

Machine Learning and Data Classification被引用数 6

ひとこと要約

本論文では、少数ショット画像分類の分類器重みの不確実性をモデル化するために、共有のアンモタイズド変分ベイズ推論ネットワークを用いるメタラーニングフレームワーク、SAMOVARを提案する。1つの共有推論ネットワークを用いて、モデルパラメータの条件付き事前分布と事後分布を学習することにより、モンテカルロベースの手法で見られる分散崩壊を回避し、miniImageNet、CIFAR-FS、FC100で最先端の性能を達成するとともに、不確実性推定と精度が向上している。

ABSTRACT

We propose a novel amortized variational inference scheme for an empirical Bayes meta-learning model, where model parameters are treated as latent variables. We learn the prior distribution over model parameters conditioned on limited training data using a variational autoencoder approach. Our framework proposes sharing the same amortized inference network between the conditional prior and variational posterior distributions over the model parameters. While the posterior leverages both the labeled support and query data, the conditional prior is based only on the labeled support data. We show that in earlier work, relying on Monte-Carlo approximation, the conditional prior collapses to a Dirac delta function. In contrast, our variational approach prevents this collapse and preserves uncertainty over the model parameters. We evaluate our approach on the miniImageNet, CIFAR-FS and FC100 datasets, and present results demonstrating its advantages over previous work.

研究の動機と目的

• メタラーニングにおけるモンテカルロベースの変分ベイズ推論の分散低減問題に対処すること。
• 構造的事前分布を用いて分類器重みを潜在変数としてモデル化することで、少数ショット分類における不確実性推定を改善すること。
• モデルパラメータの事前分布と事後分布の両方に一般化可能な共有アンモタイズド推論ネットワークの開発。
• 確率的で不確実性を考慮した重み適応を可能にすることで、VERSATADAMなどの既存メタラーニングモデルの性能を向上させること。
• 変分ベイズ推論が、モンテカルロ手法で一般的に見られる事前分布の崩壊を防ぎ、より頑健な一般化を実現することを示すこと。

提案手法

• モデルは、タスク固有の分類器重みの条件付き事前分布と変分事後分布をパrameterizeするための共有推論ネットワークを用いる。
• 事前分布はサポートセットデータにのみ条件付けられるが、事後分布はサポートデータとクエリデータの両方を用いるため、不確実性を考慮した予測が可能になる。
• 計算不能な周辺尤度を近似するために変分オートエンコーダーの枠組みを採用し、バックプロパゲーションによるエンドツーエンドの学習が行われる。
• タスクに依存しない特徴抽出器（例：ResNet-12）を用いて、サポート画像とクエリ画像の特徴を抽出し、その後、共有推論ネットワークに渡す。
• 予測のためのクエリデータに対して、事前分布および事後分布から分類器重みを確率的サンプリング可能である。
• 本手法は、確定的モデル（例：VERSATADAM）およびスケーリングコサイン分類器を備えたモデル（例：TADAM）の両方に適用可能であり、それらを確率的バージョンに変換可能である。

実験結果

リサーチクエスチョン

• RQ1 共有アンモタイズド推論ネットワークは、個別の事前分布と事後分布を用いる場合と比較して、メタラーニングにおける不確実性推定を改善できるか？
• RQ2 少ない勾配サンプルを用いた場合に、モンテカルロベースの手法で観察される事前分布の崩壊を、変分ベイズ推論が防げるか？
• RQ3 提案手法は、miniImageNet、CIFAR-FS、FC100といった標準ベンチマークで、少数ショット分類精度をどのように向上させるか？
• RQ4 共有変分ベイズ推論によって可能になったTADAMの確率的定式化は、最先端モデルと同等の性能を達成できるか？
• RQ5 提案フレームワークは、データオーグメンテーションやトランスダクティブトレーニングといった既存技術と併用可能で、効果的か？

主な発見

• 変分ベイズ手法により、サンプル数が少ない場合にモンテカルロ手法で見られる事前分布の崩壊が効果的に防止され、正確な分散推定が可能になった。
• miniImageNetでは、5ショットで57.9% ± 0.3の精度を達成し、他のResNet-12ベースのモデルを上回り、最先端の結果と同等またはそれを上回った。
• FC100では、非トランスダクティブ手法の中で最高の5ショット精度を記録し、42.1% ± 0.3の精度を達成した。
• CIFAR-FSでは、5ショットで85.3% ± 0.2の精度、1ショットで72.5% ± 0.3の精度を達成し、ショット数の設定にかかわらず優れた性能を示した。
• 提案された変分フレームワークを用いて訓練されたTADAMの確率的バージョンは、元の確定的モデルを著しく上回り、最先端の性能に達した。
• 本手法はハイパーパramータの選択に強く、複数の少数ショットベンチマークにわたって良好に一般化され、有効性と信頼性が確認された。