[論文レビュー] A Universal Marginalizer for Amortized Inference in Generative Models

Laura Douglas, Iliyan Zarov+7 more|arXiv (Cornell University)|Nov 2, 2017

Bayesian Modeling and Causal Inference参考文献 10被引用数 12

ひとこと要約

本稿では、任意の証拠集合に対してベイジアンネットワーク内のすべての条件付き周辺分布を近似する、1つのニューラルネットワークであるユニバーサルマージナライザー（UM）を提案する。アンセストラルサンプリングと学習可能なマスキング機構を組み合わせ、多様な観測パターンで訓練することで、UMはアモアタイズド推論を可能にし、ハイブリッド提案を用いて重要度サンプリングの効率を著しく向上させ、必要なサンプル数を最大8倍まで削減しながら高い精度を維持する。

ABSTRACT

We consider the problem of inference in a causal generative model where the set of available observations differs between data instances. We show how combining samples drawn from the graphical model with an appropriate masking function makes it possible to train a single neural network to approximate all the corresponding conditional marginal distributions and thus amortize the cost of inference. We further demonstrate that the efficiency of importance sampling may be improved by basing proposals on the output of the neural network. We also outline how the same network can be used to generate samples from an approximate joint posterior via a chain decomposition of the graph.

研究の動機と目的

• 複雑な因果的生成モデルにおける、異なる証拠集合を想定した推論の高い計算コストを低減すること。
• ベイジアンネットワークにおける任意の観測に対して、すべての条件付き周辺分布を近似できる1つのニューラルネットワークの開発。
• UMの出力を提案分布として用いることで、重要度サンプリングの効率を向上させること。
• グラフィカルモデルのチェーン分解を用いて、UMを介した連合事後分布サンプリングを可能にすること。
• 1つのUMが複数の専用モデルを置き換えられることを示し、推論のオーバーヘッドを削減すること。

提案手法

• 任意の観測ノードの部分集合XOが与えられた場合に、ベイジアンネットワーク内のすべてのノードXiの周辺事後分布P(Xi|XO= xO)を予測する、フィードフォワードニューラルネットワークを訓練する。
• 訓練中に確率的マスキングを用い、各ノードを独立に一様確率でマスキングすることで、任意の観測パターンをシミュレートする。
• 観測済みおよび未観測ノードを、2ビットまたは33ビットの表現で符号化し、未観測ノードには事前確率を含める。
• 多ラベル分類設定において、バイナリクロスエントロピー損失を用いて、ノードの確率を予測するようにネットワークを訓練する。
• 混合パrameter β を用いて、アンセストラルサンプリングとUMが予測する周辺分布をブレンドすることで、ハイブリッド重要度サンプリングの提案を構築する。
• UMの出力を用いて、トポロジカルに順序付けられたチェーン分解における逐次的サンプリングをガイドし、提案の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 任意の観測変数の部分集合に対して、1つのニューラルネットワークがベイジアンネットワーク内のすべての条件付き周辺分布を近似できるか？
• RQ2 重要度サンプリングにおいて、UMの出力を提案分布として用いることで、標準的手法と比較してサンプリング効率が向上するか？
• RQ3 UMの性能は、異なるネットワークアーキテクチャーや入力符号化方法に依存するか？
• RQ4 UMを用いて、グラフィカルモデルのチェーン分解により連合事後分布サンプルを生成できるか？
• RQ5 重要度サンプリングにおいて、アンセストラルサンプリングとUMベースの提案との最適な混合戦略は何か？

主な発見

• 1層目の最大サイズネットワーク（2048ユニット）が最良の性能を示し、33ビット表現（事前確率を含む）を用いた場合、平均絶対誤差は0.0060、最大絶対誤差は0.3223であった。
• 混合パrameter β = 0.25 のハイブリッド重要度サンプリングでは、250,000サンプルで真の周辺分布と推定周辺分布の相関が95%に達した。これに対して、標準的IS（β = 0）では92%に達するまでに200万サンプルが必要であった。
• ハイブリッド提案法では200万サンプルで96%の相関を達成し、より高い精度と低い計算コストを両立した。
• 未観測ノードの事前確率を含む33ビット表現は、2ビット表現よりも平均誤差および最大誤差の両方でわずかに優れた性能を示した。
• UMベースのハイブリッド提案により、必要なサンプル数が最大8倍まで削減され、相関や有効サンプルサイズ（ESS）は維持または向上した。
• 本手法により、1つのモデルですべての可能な証拠集合に対するアモアタイズド推論が可能となり、各観測パターンごとの別々のモデルの必要性が排除された。