[論文レビュー] Fast Adaptation in Generative Models with Generative Matching Networks

Sergey Bartunov, Dmitry Vetrov|arXiv (Cornell University)|Dec 7, 2016

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 12

ひとこと要約

本稿では、マッチングネットワークにインspiredされたアテンションベースのマッチング機構を活用することで、少数の条件付きデータを用いて新しいコンセプトに高速に適応できる条件付き生成モデル、Generative Matching Networks (GMNs) を提案する。GMNs は Omniglot における少数ショット生成および少数ショット分類において最先端のモデルを上回り、均一なアテンションを用いる1ショット分類で90.8%の正確性を達成するとともに、偽入力（pseudo-inputs）を用いることで顕著に向上したサンプル品質を実現した。

ABSTRACT

Despite recent advances, the remaining bottlenecks in deep generative models are necessity of extensive training and difficulties with generalization from small number of training examples. We develop a new generative model called Generative Matching Network which is inspired by the recently proposed matching networks for one-shot learning in discriminative tasks. By conditioning on the additional input dataset, our model can instantly learn new concepts that were not available in the training data but conform to a similar generative process. The proposed framework does not explicitly restrict diversity of the conditioning data and also does not require an extensive inference procedure for training or adaptation. Our experiments on the Omniglot dataset demonstrate that Generative Matching Networks significantly improve predictive performance on the fly as more additional data is available and outperform existing state of the art conditional generative models.

研究の動機と目的

• 再訓練なしに新しいデータに適応できない深層生成モデルの限界、特に低データ環境下での課題に対処する。
• 少数の例からの学習における高容量モデルの catastrophic interference（壊滅的干渉）および過学習を克服する。
• 類似分野からの小規模で多様なデータセットを条件付けとして用いることで、生成分布の即時適応を可能にする。
• 元々は識別的少数ショット学習を目的として開発されたマッチングネットワークの適用範囲を、非教師ありおよび条件付き生成モデリングに拡張する。
• 明示的なアーキテクチャ再訓練なしに、未観測のコンセプトにうまく一般化できるスケーラブルで非パrametricな推論メカニズムを開発する。

提案手法

• 小規模なサポート例集合 $ \textbf{X} $ を条件付けとして用いることで、生成分布 $ p(\textbf{x}|\textbf{X}, \boldsymbol{\theta}) $ を定義する条件付き生成モデル GMN を提案。ここで $ \textbf{X} $ は潜在表現上のアテンション重みを計算するために用いられる。
• マッチングネットワークから着想を得たアテンション機構を、非教師あり生成モデリングに適応させ、条件付けセット内の類似例間で動的に補間できるようにする。
• 潜在空間の安定化とサンプル品質の向上を図るため、学習可能な埋め込みとして偽入力（pseudo-inputs）を導入。クラスラベルの明示的指定は不要。
• 推論を効率化するため、アーモナイズド推論を用いた変分推論を採用。認識モデル $ q(\textbf{z}|\textbf{x}, \boldsymbol{\theta}) $ を複数の例に共通して使用する。
• 入力とサポートセット例との類似度に基づいてアテンション重みを計算する非パrametricなマッチング手順を実装。再訓練なしに高速な適応が可能。
• 同じフレームワーク内で密度推定とサンプル生成を可能にし、新しいデータが追加されるたびに生成分布をリアルタイムで更新できる。

実験結果

リサーチクエスチョン

• RQ1 再訓練なしに、わずかな例のみを用いて生成モデルを新しいコンセプトに即座に適応させることは可能か？
• RQ2 アテンションベースのマッチング機構は、非教師あり生成モデリングにおける高速適応を実現するために効果的か？
• RQ3 偽入力（pseudo-inputs）の導入は、少数ショット生成におけるサンプル品質と一般化性能を向上させるか？
• RQ4 GMNs は生成品質および少数ショット分類精度の両面で、既存の条件付き生成モデルを上回るか？
• RQ5 特にコンセプトが混合されたり曖昧な場合でも、多様で非一様な条件付けデータに対して、モデルはどれほど頑健か？

主な発見

• 均一なアテンションを用いることで、GMNs は1ショットサポートセットを用いて Omniglot で90.8%の少数ショット分類正確性を達成し、Neural Statistician や One-shot VAE などのモデルを上回った。
• 偽入力（pseudo-inputs）を含むモデルは、条件付けデータに近い視覚的質の高いサンプルを生成したが、これはやや低い予測性能を伴う。
• 偽入力（pseudo-inputs）を含まない GMNs は滑らかな密度推定器としての性質を持ち、分布外の例への一般化性能が優れている。これは、サンプル品質と一般化性能の間のトレードオフを示唆している。
• 非パrametricなマッチング機構により、混合クラスを含む条件付けデータに対しても効果的な適応が可能であり、$ C_{\text{test}} = 2 $ の設定でベースラインを著しく上回った。
• モデルは高速かつ逐次的な学習を示した：予測性能は、条件付け例が追加されるたびに段階的に向上し、再訓練の必要がなかった。
• アテンション機構は、クラス構造を効果的に捉え、条件付けセット内に多様で類似しないデータが存在しても、その干渉に強く、頑健であった。