[論文レビュー] Faithful Inversion of Generative Models for Effective Amortized Inference

Stefan Webb, Adam Goliński+5 more|arXiv (Cornell University)|Dec 1, 2017

Bayesian Modeling and Causal Inference参考文献 7被引用数 8

ひとこと要約

本稿では、変数消去法とクリーク木伝播を用いて事後分布から最小で忠実なベイジアンネットワーク構造を構築することにより、生成モデルを忠実に逆転してアンモタイズド推論ネットワークにすることを提案する。主な貢献は、理論的裏付けがあり、最小限の忠実性を持つ逆モデルを提供することであり、保証された条件付き独立構造の保存を伴う効果的なアンモタイズド推論を可能にする。

ABSTRACT

Inference amortization methods share information across multiple posterior-inference problems, allowing each to be carried out more efficiently. Generally, they require the inversion of the dependency structure in the generative model, as the modeller must learn a mapping from observations to distributions approximating the posterior. Previous approaches have involved inverting the dependency structure in a heuristic way that fails to capture these dependencies correctly, thereby limiting the achievable accuracy of the resulting approximations. We introduce an algorithm for faithfully, and minimally, inverting the graphical model structure of any generative model. Such inverses have two crucial properties: (a) they do not encode any independence assertions that are absent from the model and; (b) they are local maxima for the number of true independencies encoded. We prove the correctness of our approach and empirically show that the resulting minimally faithful inverses lead to better inference amortization than existing heuristic approaches.

研究の動機と目的

• 確率的グラフィカルモデルにおける複雑な事後分布に対する効果的なアンモタイズド推論ネットワークの構築という課題に対処すること。
• 学習された推論モデルが、事後分布の真の条件付き独立構造を保つこと。
• 事後分布に対して最小で忠実なベイジアンネットワーク構造を生成する手法の開発。
• 生成モデルを扱いやすく、構造的な推論ネットワークに逆転させる理論的裏付けのあるフレームワークの提供。
• クリークツリーのトポロジカル順序とsepsetの性質を活用して、効率的かつスケーラブルなアンモタイズド推論を実現すること。

提案手法

• 条件付き独立性を尊重するように、事後分布の因子分解を逆トポロジカル順序での変数消去法を用いて導出する。
• 変数消去プロセスからクリークツリーを構築し、各クリークを潜在変数に対応させ、sepsetを親関係として表現する。
• 各消去ステップにおける誘導グラフにおける未マーク化された隣接ノードを、各潜在変数の親として定義することで、逆ベイジアンネットワーク構造を定義する。
• クリークツリーのsepset性質を用いて、各条件付き分布が、事後因子分解におけるそのマークブラケットにのみ依存することを保証する。
• 結果として得られるモデルが、事後分布のIマップ（独立性マップ）であることを証明し、真の条件付き独立性に忠実であることを保証する。
• 各sepsetが最小分離集合であるため、忠実性を損なわずにエッジを削除できないことから、最小性を示す。

実験結果

リサーチクエスチョン

• RQ1 真の事後分布の条件付き独立構造を忠実に捉えることができるアンモタイズド推論ネットワークを構築することは可能か？
• RQ2 事後分布の条件付き独立性のみを用いて、生成モデルを構造的な事後ネットワークに逆転させることは可能か？
• RQ3 得られる逆モデルの忠実性と最小性について、どのような保証が得られるか？
• RQ4 変数消去法とクリークツリー伝播をどのように活用して、理論的裏付けのある事後因子分解を導出できるか？
• RQ5 不自然な依存関係やデータへの過剰適合を導入せずに、逆モデルを構築することは可能か？

主な発見

• 提案手法は、真の事後分布に存在しない独立性をエンコードしないIマップであるベイジアンネットワーク構造を事後分布に対して構築する。
• 逆モデルは最小忠実性を持つ。各sepsetが最小分離集合であるため、忠実性を損なわずにエッジを削除することはできない。
• クリークツリー構造により、事後分布の因子分解が正確に保持され、各条件付き分布が逆グラフにおけるそのマークブラケットにのみ依存する。
• この手法により、結果として得られる推論ネットワークが真の事後分布と同じ条件付き独立構造を持つことが保証され、忠実なアンモタイズド推論が可能になる。
• 構築プロセスは決定的であり、事後分布の条件付き独立性に基づくため、ヒューリスティック的または近似的な手法を避ける。
• アプローチは理論的に妥当で一般化可能であり、変数消去法とベイジアンネットワークにおけるd-分離の性質にのみ依存する。