[論文レビュー] Bidirectional Helmholtz Machines

Jörg Bornschein, Samira Shabanian+2 more|arXiv (Cornell University)|Jun 12, 2015

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 8

ひとこと要約

この論文は、上向きと下向きの近似推論モデルの幾何平均として連携分布を構築する、深層生成モデルである双方向ヘルムホルツマシン（BiHM）を提案する。これらのモデル間のバタチェリヤ距離を最小化する下界を最適化することで、VAE や RWS や IWAE よりもはるかに効率的な推論を実現し、より深いアーキテクチャを可能にするとともに、尤度推定を桁違いに高速化する。

ABSTRACT

Efficient unsupervised training and inference in deep generative models remains a challenging problem. One basic approach, called Helmholtz machine, involves training a top-down directed generative model together with a bottom-up auxiliary model used for approximate inference. Recent results indicate that better generative models can be obtained with better approximate inference procedures. Instead of improving the inference procedure, we here propose a new model which guarantees that the top-down and bottom-up distributions can efficiently invert each other. We achieve this by interpreting both the top-down and the bottom-up directed models as approximate inference distributions and by defining the model distribution to be the geometric mean of these two. We present a lower-bound for the likelihood of this model and we show that optimizing this bound regularizes the model so that the Bhattacharyya distance between the bottom-up and top-down approximate distributions is minimized. This approach results in state of the art generative models which prefer significantly deeper architectures while it allows for orders of magnitude more efficient approximate inference.

研究の動機と目的

• 複雑で多次元のデータ分布を有する深層生成モデルにおける、効率的な学習と推論の課題に取り組む。
• VAE や RWS などの既存手法が、不正確な事後分布近似のため、高い計算コストと劣った尤度推定を抱えるという制限を克服する。
• 上向きと下向きの推論分布が互いに近くなるように内在的に正則化するモデルを構築し、生成性能を向上させるとともに、より深いアーキテクチャの実現を可能にする。
• 両方の推論ネットワークによって真の事後分布がよく近似されることを保証することで、尤度推定をより効率的に行う。

提案手法

• 真の結合分布 $p^*({\bf x}, {\bf h}_1, {\bf h}_2)$ を、上向きモデル $p({\bf x}, {\bf h}_1, {\bf h}_2)$ と下向きモデル $q({\bf x}, {\bf h}_1, {\bf h}_2)$ の正規化された幾何平均として定義する。
• 上向きと下向きの近似事後分布の間のバタチェリヤ距離を最小化する正則化項を含む、尤度の変分下界を用いる。
• 尤度を効率的に推定するために、重要度サンプリングを用いた確率的勾配降下法でモデルを学習する。
• 幾何平均モデルの対称性を活用し、層間で送信されるのはバイナリ活性化と重要度重みのみであるため、効率的な分散学習を可能にする。
• 上向きと下向きの分布 $p$ と $q$ の類似性に起因する利点を活かして、完全な無向 BiHM モデル $p^*$ からのサンプリングにより推論を実行する。
• 2層構造を採用し、確率的隠れユニットを用いる。ここで $p$ は ${\bf h}_2$ から ${\bf x}$ を生成し、$q$ は ${\bf x}$ から ${\bf h}_2$ を推論する。両者ともニューラルネットワークによってパラメータ化される。

実験結果

リサーチクエスチョン

• RQ1 真の事後分布が上向きと下向きの推論ネットワークの両方でよく近似されるような生成モデルを構築できるか？
• RQ2 上向きと下向きの推論分布の間のバタチェリヤ距離を最小化することで、尤度推定とモデル品質が向上するか？
• RQ3 標準的な VAE が事後分布の近似が悪いために苦戦する中、この手法によりより深いアーキテクチャを効果的に学習できるか？
• RQ4 RWS や VAE や IWAE と比較して、尤度推定が著しく効率的に行えるか？
• RQ5 モデルの対称的構造が、半教師ありや動的観測設定における柔軟な推論を可能にするか？

主な発見

• BiHM は MNIST においてテストセットの尤度を $-86.3 \times 10^{-3} \times 10^3$（すなわち $-86.3$）に達成し、RWS や VAE のベースラインを上回った。
• BiHM の推定有効サンプルサイズ（ESS）は $1.2\% \pm 0.2\%$ であり、近似事後分布が推論ネットワークによってよくモデル化されていることを示している。
• 重要度サンプル数 $K=10$ で推定した BiHM の尤度は、$K=10,000$ の RWS よりも高い値を示し、優れたサンプル効率を示している。
• BiHM は競争力のある尤度推定を達成するのに $K=10$ から $100$ のサンプルしか必要としないが、VAE や RWS や IWAE は性能を同等に達成するため約 $10,000$ 個のサンプルを必要としている。
• BiHM の学習は1ステップあたりの収束が速く、合計の学習時間についても競争力がある。通信量が少ないため、分散実装の可能性も有する。
• 学習後、BiHM の上向きモデル $p$ は尤度とサンプル品質の両面で RWS を上回り、全モデル $p^*$ からのサンプリングによりさらにサンプルの忠実度が向上した。