[論文レビュー] Meta-Amortized Variational Inference and Learning

Mike Wu, Kristy Choi+2 more|arXiv (Cornell University)|Feb 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 11

ひとこと要約

本稿では、関連する確率的モデルおよびデータ変換 across で転送可能な潜在表現を学習する二重アモアタイズドフレームワークであるメタアンモタライズド変分推論を紹介する。回転やスケーリングされたMNISTなどの分布の族に対してメタVAEを訓練することで、視覚的変換に対する不変性を学習し、下流の分類タスクで顕著な性能向上（MNISTでは10–50%、NORBでは10–35%）を達成する。

ABSTRACT

Despite the recent success in probabilistic modeling and their applications, generative models trained using traditional inference techniques struggle to adapt to new distributions, even when the target distribution may be closely related to the ones seen during training. In this work, we present a doubly-amortized variational inference procedure as a way to address this challenge. By sharing computation across not only a set of query inputs, but also a set of different, related probabilistic models, we learn transferable latent representations that generalize across several related distributions. In particular, given a set of distributions over images, we find the learned representations to transfer to different data transformations. We empirically demonstrate the effectiveness of our method by introducing the MetaVAE, and show that it significantly outperforms baselines on downstream image classification tasks on MNIST (10-50%) and NORB (10-35%).

研究の動機と目的

• 新しい関連するデータ分布に適応する際の変分推論の一般化性能の低さという課題に対処すること。
• 入力および関連する確率的モデルの両方の計算をアモアタイズするメタ推論フレームワークを構築すること。
• 回転、スケーリング、シアーなどのデータ変換に対して不変である転送可能な潜在表現を学習すること。
• 統一された推論手順を用いて、変換された画像分布における下流分類性能を向上させること。
• メタアンモタライズド推論が、標準VAEや階層的ベースラインよりも優れた不変性学習を可能にすることを示すこと。

提案手法

• 複数の関連する確率的モデルおよびその入力の両方の推論を同時に最適化する新しい変分下界、MetaELBOを提案する。
• 生成モデルの族におけるメタ分布を導入し、データ変換およびモデル構造の両方で共有計算を可能にする。
• 各入力およびモデルタイプ（例：回転画像）を共有潜在表現にマップするメタエンコーダーを採用し、モデル族全体にわたる推論をアモアタイズする。
• 各モデルの生成分布がその対応するデータ周辺分布と一致するよう保証するための事前分布正則化項を用いる。
• MetaELBO目的関数を用いてメタVAEを訓練し、推論時に未観測の変換に一般化できるようにする。
• L2距離解析を用いて、異なる変換タイプ間での表現不変性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 アモアタイズド推論は、入力のみならず、関連する確率的モデルの族に対しても一般化可能か？
• RQ2 変換 across で共有される表現を学習することは、下流タスクにおける不変性および一般化性能の向上に寄与するか？
• RQ3 メタアンモタライズド推論は、標準VAEや階層的ベースラインと比較して、データ変換を効果的に処理できるか？
• RQ4 メタVAEの表現は、高剪断や高スケーリングなどの極端な視覚的変換に対しても、どれほど安定しているか？
• RQ5 メタアンモタライズド推論は、複雑で相関関係のある変化を示す現実世界の画像分布において、意味のある不変性を捉えることができるか？

主な発見

• MetaVAEは、変換されたMNISTの全タイプにおいて、VHEおよびNeural Statisticianを10–50%上回り、極端なスケールやシアーに対しても性能低下を示さない。
• Small NORBデータセットでは、照明、高度、方位の複雑で相関関係のある変化が存在する中でも、MetaVAEはベースラインより10–35%高い正答率を達成する。
• L2距離解析により、MetaVAEがアモアタイズ対象として学習した変換（例：回転）に対して表現が最も安定していることが確認され、学習された不変性が裏付けられた。
• MetaVAEの表現は変換に対しても意味的コンテンツを保持するが、ベースラインの表現は極端なスケーリングやシアーに対して著しく劣化する。
• 本手法は、関係のない視覚的操作を抽象化しながら、クラス判別情報を保持する転送可能な特徴を効果的に学習する。
• メタアンモタライズド推論により、トレーニング時に明示的なデータオーグメンテーションを必要とせずに、未観測の変換への一般化が可能となる。