[論文レビュー] Flexible and accurate inference and learning for deep generative models

Eszter Vértes, Maneesh Sahani|arXiv (Cornell University)|May 28, 2018

Generative Adversarial Networks and Image Synthesis被引用数 24

ひとこと要約

本稿では、事後分布をパラメトリックな形ではなく、期待十分統計量として表現することにより、柔軟で高精度な事後分布近似を可能にする、分散型分布的コード（DDC）ヘルムホルツマシンという、深層生成モデルを訓練するための新規手法を提案する。合成データ、画像パッチ、MNISTデータにおいて、VAE、IWAE、VIMCOといった最先端手法を上回り、顕著に優れた尤度と分布適合度を達成した。

ABSTRACT

We introduce a new approach to learning in hierarchical latent-variable generative models called the "distributed distributional code Helmholtz machine", which emphasises flexibility and accuracy in the inferential process. In common with the original Helmholtz machine and later variational autoencoder algorithms (but unlike adverserial methods) our approach learns an explicit inference or "recognition" model to approximate the posterior distribution over the latent variables. Unlike in these earlier methods, the posterior representation is not limited to a narrow tractable parameterised form (nor is it represented by samples). To train the generative and recognition models we develop an extended wake-sleep algorithm inspired by the original Helmholtz Machine. This makes it possible to learn hierarchical latent models with both discrete and continuous variables, where an accurate posterior representation is essential. We demonstrate that the new algorithm outperforms current state-of-the-art methods on synthetic, natural image patch and the MNIST data sets.

研究の動機と目的

• 階層的潜在変数モデルにおける変分推論における制限的な事後分布近似がもたらすバイアスを解消すること。
• 離散的および連続的潜在変数を併用する複雑な生成モデルの正確な学習を可能にすること、特に階層的構造を含むこと。
• VAE や IWAE に代表される、パラメトリックまたはサンプルベースの事後分布表現に依存する既存手法の限界を克服すること。
• 勾配逆伝播を確率的層を通過して行わないが、高い事後分布精度を維持する訓練アルゴリズムの開発。
• 合成データ、自然画像パッチ、バイナリズドMNISTを含むベンチマークデータセットにおける優れた性能を実証すること。

提案手法

• 事後分布を期待十分統計量（DDC）として表現することで、特定のパラメトリックな形を仮定しない柔軟で非パラメトリックな事後分布近似を可能にする。
• 生成モデルと認識モデルの共同学習のため、ウェークスリープ法を拡張し、生成モデルからのサンプルを用いて認識ネットワークを更新する。
• 学習プロセスを層ごとの更新に分解することで、確率的潜在層を通過する勾配逆伝播を回避できる。
• 観測値をDDC表現への写像として扱う認識ネットワーク（学習可能なパラメータを有する）を用い、アモアタイズド推論を実現する。
• 条件付き尤度に指数型分布族を適用することで、サンプリングの tractability と十分統計量の効率的計算を保証する。
• 生成データと実データの分布類似性を評価するため、ガウスカーネルを用いた相対MMD検定を実施し、テストセットを基準分布として用いる。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックな事後分布表現は、階層的深層生成モデルにおける推論と学習の精度を向上させ得るか？
• RQ2 DDCヘルムホルツマシンは、離散的および連続的潜在変数を併用する複雑なデータ分布をモデル化する際、VAE、IWAE、VIMCOと比べてどのように性能を発揮するか？
• RQ3 パラメトリック族やサンプリングに依存せずに、DDC表現がどれほど豊かな事後分布構造を捉えることができるか？
• RQ4 確率的層を通過する勾配逆伝播を回避することは、モデル性能や学習安定性に影響を与えるか？
• RQ5 DDC-HMは、合成データ、自然画像パッチ、バイナリズドMNISTを含むさまざまなデータモダリティに一般化可能か？

主な発見

• 自然画像パッチにおいて、DDC-HMはIWAE（k=50）を著しく上回り、全テストアーキテクチャでp値 < 10^-87の有意差を示した。
• バイナリズドMNISTでは、DDC-HMのMMD値は2×10^-3であり、VIMCOの6×10^-4より低く、p値 < 10^-20であった。これは、真のデータ分布への優れた適合を示している。
• 合成データにおいても、VAE や IWAE を上回り、複雑な階層的構造を有する真の生成プロセスの正確な回復を示した。
• DDC表現により、特定のパラメトリックな形を仮定しない事後分布近似が可能になり、不適切な変分族によるバイアスが低減された。
• D1=100、D2=10などの異なる潜在次元数においても高い性能を維持し、モデルの頑健性とスケーラビリティを示した。
• 相対MMD検定により、DDC-HMが生成したサンプルは、競合手法と比較してはるかに高い信頼水準で実データと統計的に区別不能であることが確認された。