[論文レビュー] VAE Learning via Stein Variational Gradient Descent

Yunchen Pu, Zhe Gan+4 more|arXiv (Cornell University)|Apr 18, 2017

Generative Adversarial Networks and Image Synthesis被引用数 21

ひとこと要約

本稿では、符号化器分布に関するパrametric仮定を不要とする、Stein変分勾配降下法（SVGD）を用いた新しいVAE訓練手法を提案する。SVGDを用いて近似事後分布と真の事後分布のKLダイバージェンスを最小化することで、柔軟な非パラメトリック推論が可能となり、ImageNetおよびMNISTにおける半教師あり学習で最先端の性能を達成する。さらに、重要度サンプリングの統合により性能が向上する。

ABSTRACT

A new method for learning variational autoencoders (VAEs) is developed, based on Stein variational gradient descent. A key advantage of this approach is that one need not make parametric assumptions about the form of the encoder distribution. Performance is further enhanced by integrating the proposed encoder with importance sampling. Excellent performance is demonstrated across multiple unsupervised and semi-supervised problems, including semi-supervised analysis of the ImageNet data, demonstrating the scalability of the model to large datasets.

研究の動機と目的

• 従来のVAEが符号化器分布の明示的なパラメトリック形式を必要としているという制限を克服すること。
• Stein変分勾配降下法を用いて、VAEにおける柔軟で非パラメトリックな事後分布近似を可能とすること。
• SVGDと重要度サンプリングを統合することで、半教師あり学習における汎化性能とロバスト性を向上させること。
• 性能を損なうことなく、ImageNetのような大規模データセットへのVAE訓練のスケーリングを実現すること。

提案手法

• 標準的な変分下界最適化の代わりに、近似事後分布と真の事後分布のKLダイバージェンスを直接最小化する。
• 粒子が潜在的事後分布を表すように、Stein変分勾配降下法（SVGD）を繰り返し適用して更新する。これには、符号化器からのサンプリングのみが必要であり、密度の明示的表現は不要である。
• 閉形式の密度評価を避けることで、非パラメトリックな符号化器を導入し、複雑で柔軟な事後分布近似を可能にする。
• パラメータ推定の安定性と性能を向上させるために、重要度サンプリングを統合し、特にラベル付きデータが限られた場合に有効である。
• モデルパラメータθを確率的変数として扱い、マルコフ連鎖モンテカルロによるサンプリングによりモデル平均化を実現し、汎化性能を向上させる。
• パラメータと潜在変数の共同事後分布を扱い、事前分布p(θ)とp(z_n)を設定し、SVGDを用いて全事後分布からのサンプリングを実行する。

実験結果

リサーチクエスチョン

• RQ1 SVGDを、符号化器分布の明示的なパラメトリック形式を必要とせずにVAEの訓練に効果的に適用できるか？
• RQ2 SVGDベースのVAEの非パラメトリック性が、ImageNetのような複雑で高次元のデータにおいて性能向上をもたらすか？
• RQ3 SVGDと重要度サンプリングを統合することで、半教師ありVAE学習のロバスト性と精度がどのように向上するか？
• RQ4 提案手法は、ラベル付きデータが限られた大規模データセットに効果的にスケーリングできるか？

主な発見

• Stein VAEおよびStein VIWAE手法は、10～300サンプル/クラスのラベル付きデータを用いたMNISTの半教師あり学習設定において、標準VAEを常に上回る性能を示した。
• ImageNetでは、1%～40%のラベル付きデータ割合において、すべての設定で標準VAEよりも優れた分類精度を達成し、スケーラビリティを示した。
• 重要度サンプリングの統合（Stein VIWAE）により、予測の分散が低減され、特にラベル付きデータが少ない場合にロバスト性が向上した。
• 300枚/クラスのラベル付き画像を用いた場合、MNISTで最先端の性能を達成し、分類誤差率が1.0%未満となった。
• θの100サンプルを用いたモデル推論は、1画像あたり0.12 msで実行可能であり、テスト時における効率的なデプロイを示している。
• 本手法は良好に一般化可能であり、Ladderネットワークのようなより深いアーキテクチャとの統合も可能であるが、これは今後の課題である。