[論文レビュー] Undirected Graphical Models as Approximate Posteriors

Arash Vahdat, Evgeny Andriyash+1 more|arXiv (Cornell University)|Jan 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 5

ひとこと要約

本論文は、変分オートエンコーダー（VAEs）における近似事後分布としての非方向グラフィカルモデル（UGMs）、特にボルツマンマシンを訓練可能にする、新しい勾配推定法を提案する。マルコフ連鎖モンテカルロ（MCMC）更新を逆誤差伝搬することで、低分散勾配を達成し、UGMベースの事後分布が、離散的VAEsにおいて従来の有向モデルを上回ることを示している。MNISTおよびOMNIGLOTデータセットにおける生成性能が向上する。

ABSTRACT

The representation of the approximate posterior is a critical aspect of effective variational autoencoders (VAEs). Poor choices for the approximate posterior have a detrimental impact on the generative performance of VAEs due to the mismatch with the true posterior. We extend the class of posterior models that may be learned by using undirected graphical models. We develop an efficient method to train undirected approximate posteriors by showing that the gradient of the training objective with respect to the parameters of the undirected posterior can be computed by backpropagation through Markov chain Monte Carlo updates. We apply these gradient estimators for training discrete VAEs with Boltzmann machines as approximate posteriors and demonstrate that undirected models outperform previous results obtained using directed graphical models. Our implementation is available at https://github.com/QuadrantAI/dvaess .

研究の動機と目的

• 変分オートエンコーダー（VAEs）における非方向グラフィカルモデル（UGMs）を近似事後分布として訓練するための有効な勾配推定法の欠如を解決すること。
• 大規模なVAE訓練において、UGMsを事後分布として使用する際の、分割関数の非可解性と高コストなサンプリングの課題を克服すること。
• より柔軟なUGMs（例：ボルツマンマシン）に有向事後分布モデルを置き換えることで、離散的VAEsの表現力と生成品質を向上させること。
• 確率的最適化に適した微分可能なMCMCベースの勾配推定器を用いて、UGMsによるアモアタイズド推論を可能にすること。

提案手法

• 非方向グラフィカルモデル（UGM）の事後分布に適用されたマルコフ連鎖モンテカルロ（MCMC）プロセスにおける1ステップのギブスサンプリングに、逆誤差伝搬を適用する勾配推定器を提案する。
• 分割関数の非可解性およびUGMsにおける正規化の非可解性にもかかわらず、MCMC更新内での再パラメータ化サンプリングを用いることで勾配計算を可能にする。
• 制限付きボルツマンマシン（RBMs）を離散的VAEs（DVAE##）における近似事後分布として訓練する応用を実施し、バックプロパゲーションによるエンドツーエンド訓練を可能にする。
• 計算コストと勾配分散のバランスを取るために、1トレーニングステップあたり1回のMCMC更新を採用し、安定した最適化を達成する。
• UGMs（例：RBMs）の条件付き独立構造を活用して、ギブスサンプリングステップを効率的に逆誤差伝搬可能にする。
• 多様な設定下での評価のため、重要度加重自己オートエンコーダー（IWAE）および構造的予測ベンチマークを用いる。

実験結果

リサーチクエスチョン

• RQ1 MCMCを逆誤差伝搬することで、変分オートエンコーダーにおける非方向グラフィカルモデルを、近似事後分布として効果的に訓練できるか？
• RQ2 離散的VAEsにおいて、ボルツマンマシンを近似事後分布として用いることで、有向モデルに比べて生成性能が向上するか？
• RQ3 1回のMCMC更新で十分な低分散勾配推定器が得られ、UGM事後分布の訓練に適しているか？
• RQ4 ベンチマークデータセットにおける対数尤度と再構成品質の観点から、UGMベースの事後分布は有向モデルに比べてどのように性能を発揮するか？
• RQ5 提案手法は構造的予測タスクにスケーリング可能であり、既存手法に比べて性能向上を維持できるか？

主な発見

• RBMsを事後分布として用いたDVAE##モデルは、MNISTでテスト対数尤度-82.97 natsを達成し、有向事後分布を用いた従来手法を上回る。
• OMNIGLOTでは、DVAE##モデルがテスト対数尤度-98.34 natsを達成し、ベースラインDVAEに比べて優れた生成性能を示す。
• 標準VAEsおよび重要度加重VAEs（IWAE）の両方で一貫した改善が得られ、MNISTおよびOMNIGLOTで数natsの向上を達成する。
• 実験により、UGM事後分布は平均場型および自己回帰型事後分布よりも表現力が高く、有向モデルがうまく表現できない複雑な事後分布構造を捉えていることが示された。
• 1回のMCMC更新による勾配推定器は、バイアスがあるものの、低分散かつ安定した収束を示し、訓練に十分な勾配品質を提供している。
• GumBoltやDVAE#といった先行モデルの再実装においても、提案フレームワークを用いることで性能が向上し、本手法の汎用性が示された。