[論文レビュー] Fast Gradient-Based Inference with Continuous Latent Variable Models in Auxiliary Form

Diederik P. Kingma|arXiv (Cornell University)|Jun 4, 2013

Gaussian Processes and Bayesian Inference参考文献 13被引用数 29

ひとこと要約

本稿では、連続的な潜在変数を備えたベイジアンネットワークに対して、独立な補助変数を介して条件付き決定的にするための補助的形変換を提案する。マークフットを拡大することで、勾配ベースの推論が高速化され、MNISTおよび動的ベイジアンネットワークにおけるMAP推論で10倍の高速化が実証されたが、元のモデルの分布的性質は変更されていない。

ABSTRACT

We propose a technique for increasing the efficiency of gradient-based inference and learning in Bayesian networks with multiple layers of continuous latent vari- ables. We show that, in many cases, it is possible to express such models in an auxiliary form, where continuous latent variables are conditionally deterministic given their parents and a set of independent auxiliary variables. Variables of mod- els in this auxiliary form have much larger Markov blankets, leading to significant speedups in gradient-based inference, e.g. rapid mixing Hybrid Monte Carlo and efficient gradient-based optimization. The relative efficiency is confirmed in ex- periments.

研究の動機と目的

• 複数層の連続的潜在変数を有する深層ベイジアンネットワークにおける勾配ベースの推論および学習の効率を向上させること。
• 正確な推論が困難な高次元かつ非線形なモデルにおいて、計算上のボトルネックを解消すること。
• モデルの同等性を維持しながら推論速度を向上させる一般化可能な変換を開発すること。
• 深層生成モデルや動的ベイジアンネットワークのような複雑なモデルにおいて、本手法の実証的妥当性を検証すること。

提案手法

• 連続的潜在変数が補助変数と親ノードに条件付きで決定的となるように、元のベイジアンネットワークを補助的形に変換する。
• 微分可能な逆CDFまたはその近似を用いて、連続的潜在変数Zを補助変数Eと親ノードの決定的関数に置き換える。
• 変換された潜在変数Zを統合し、観測変数Xと補助変数Eの周辺確率密度関数を導出する。
• 補助的形における拡大されたマークフットを活用し、HMCおよび最適化における勾配の流れとサンプリング効率を向上させる。
• 推論と学習の両方において、HMCとAdagradをそれぞれ使用し、元の形と補助的形の間で公平な比較を実施する。
• 補助変数を周辺化することで、元のモデルと補助的モデルの間の同等性を保証し、元の結合分布を維持する。

実験結果

リサーチクエスチョン

• RQ1 連続的潜在変数モデルを補助的形に変換することで、勾配ベースの推論が著しく高速化されるか？
• RQ2 拡大されたマークフットのおかげで、補助的形はハイブリッドモンテカルロ（HMC）における混合速度を向上させるか？
• RQ3 MNISTに学習させた複数層の潜在変数を持つ深層生成モデルにおいて、本手法はどのように性能を発揮するか？
• RQ4 動的ベイジアンネットワークにおける最適化速度を向上させる一方で、モデルの同等性を維持できるか？
• RQ5 高次元かつ非線形なモデルにおいて、補助的変換が収束速度および尤度に与える影響は何か？

主な発見

• MNISTおよび動的ベイジアンネットワークの両実験において、MAP推論は補助的形の方が元の形に比べて約10倍速く収束した。
• 補助的形は、拡大されたマークフットのおかげで、HMCにおける混合速度が著しく向上し、勾配の流れが改善された。
• 3層の生成モデルは2層のモデルに比べて尤度が向上しなかったため、推論速度の向上にもかかわらず、深さに伴う利得の逓減が示唆された。
• HMCにおいて約50％の受容率を達成し、安定した収束と良好なサンプリング性能を示した。
• 微分可能かつ可逆なCDFまたはその近似が利用可能なモデルに本手法を適用可能であり、複雑な深層潜在変数アーキテクチャに一般化可能である。
• 実証的結果は理論的期待と一致し、教師ありおよび逐次的モデリングの両タスクで一貫した高速化が確認された。