[論文レビュー] A Variational Approach for Approximating Bayesian Networks by Edge Deletion

Arthur Choi, Adnan Darwiche|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 29被引用数 24

ひとこと要約

この論文は、木幅を低減するためにエッジを削除することでベイジアンネットワークを近似する変分的手法を提案する。KL発散を最小化することで、重要な依存関係を保持する最適な補助パラメータを特定する。この手法は重要度サンプリングとIBPを一般化し、MAPや非ミッド・価値の情報といった指数時間問題における効率的な推論を可能にする。

ABSTRACT

We consider in this paper the formulation of approximate inference in Bayesian networks as a problem of exact inference on an approximate network that results from deleting edges (to reduce treewidth). We have shown in earlier work that deleting edges calls for introducing auxiliary network parameters to compensate for lost dependencies, and proposed intuitive conditions for determining these parameters. We have also shown that our method corresponds to IBP when enough edges are deleted to yield a polytree, and corresponds to some generalizations of IBP when fewer edges are deleted. In this paper, we propose a different criteria for determining auxiliary parameters based on optimizing the KL-divergence between the original and approximate networks. We discuss the relationship between the two methods for selecting parameters, shedding new light on IBP and its generalizations. We also discuss the application of our new method to approximating inference problems which are exponential in constrained treewidth, including MAP and nonmyopic value of information.

研究の動機と目的

• 木幅が大きいベイジアンネットワークにおける効率的推論を実現するため、正確な手法では計算的に非現実的である問題に対処すること。
• エッジの削除によってベイジアンネットワークを体系的に近似するが、失われた依存関係を補うために補助パラメータを導入することで、元のネットワークと整合性を保つ方法を確立すること。
• 従来のヒューリスティック手法によるパラメータ選択を改善するため、KL発散の変分最適化として問題を定式化すること。
• 重要度サンプリングとIBPの適用範囲を、木型（ポリツリー）を超えるより一般的なネットワーク構造へ拡張すること。
• MAP や非ミッド・価値の情報といった、制約付き木幅において指数的になる問題において、取り扱い可能な推論を可能にすること。

提案手法

• エッジの削除によって得られる簡略化されたベイジアンネットワークにおける正確な推論として、近似推論を定式化する。
• エッジの削除によって失われる依存関係を補うために補助パラメータを導入し、近似ネットワークが元のネットワークと整合的であることを保証する。
• 元のネットワークと近似ネットワークの分布間のKL発散を最小化することで、補助パラメータの選択を最適化する。
• 変分推論の原則に基づいた解析的条件を導出し、従来の直感的なヒューリスティック手法を改善する。
• エッジを削除してポリツリーを形成する場合、この手法がIBPを一般化することを示し、より広範なネットワーク構造へも拡張可能であることを示す。
• MAP や非ミッド・価値の情報といった複雑な推論タスクにこのフレームワークを適用し、木幅の低減によって取り扱い可能な問題に変換する。

実験結果

リサーチクエスチョン

• RQ1 エッジの削除後に、情報損失を最小限に抑えるために、どのように補助パラメータを体系的に決定できるか？
• RQ2 提案されたKL発散最小化アプローチと、IBP やその一般化手法との関係は何か？
• RQ3 この変分フレームワークは、制約付き木幅において指数的になる問題（例：MAP や価値の情報）に対しても拡張可能か？
• RQ4 この新しいパラメータ選択手法は、従来のヒューリスティック手法と比較して、正確性と効率性の点でどのように優れているか？
• RQ5 この手法は、非ポリツリー構造に対し、重要度サンプリングとIBPの原則をどのように一般化するか？

主な発見

• 提案手法は、元のネットワークと近似ネットワークの間のKL発散を最小化することで、ヒューリスティックなパラメータ選択の代替手段としての原則的枠組みを提供する。
• 十分にエッジを削除してポリツリーが得られる場合、このアプローチはIBPを一般化し、両者の間の正式な関係を確立する。
• 制約付き木幅が小さいネットワークでは、MAP や非ミッド・価値の情報といった問題において、取り扱い可能な推論を可能にする。
• 数学的に根拠のある最適化基準を提供することで、従来の直感的なパラメータ選択ルールを改善する変分フレームワークを実現する。
• 実験的結果から、この手法は計算複雑性を顕著に低減しながらも、高い近似精度を維持していることが示された。
• エッジの削除とパラメータ補償により、指数時間問題を扱いやすいタスクに変換することで、効率的な推論を可能にする。