[論文レビュー] Exact and approximate inference in graphical models: variable elimination and beyond

Nathalie Peyrard, Cros, Marie-Josée+6 more|arXiv (Cornell University)|Jun 29, 2015

Bayesian Modeling and Causal Inference参考文献 115被引用数 6

ひとこと要約

この論文は、グラフィカルモデルにおける変数消去法と木幅に基づく推論技術をレビューし、低木幅が正確な推論を効率的に行えることを示している。低木幅が小さい場合、最適な消去順序や、ループのある確率的伝搬（loopy belief propagation）のような近似手法が、精度と計算コストのバランスをとることができ、特にモンテカルロ法が遅すぎる場合に有効である。

ABSTRACT

Probabilistic graphical models offer a powerful framework to account for the dependence structure between variables, which is represented as a graph. However, the dependence between variables may render inference tasks intractable. In this paper we review techniques exploiting the graph structure for exact inference, borrowed from optimisation and computer science. They are built on the principle of variable elimination whose complexity is dictated in an intricate way by the order in which variables are eliminated. The so-called treewidth of the graph characterises this algorithmic complexity: low-treewidth graphs can be processed efficiently. The first message that we illustrate is therefore the idea that for inference in graphical model, the number of variables is not the limiting factor, and it is worth checking for the treewidth before turning to approximate methods. We show how algorithms providing an upper bound of the treewidth can be exploited to derive a 'good' elimination order enabling to perform exact inference. The second message is that when the treewidth is too large, algorithms for approximate inference linked to the principle of variable elimination, such as loopy belief propagation and variational approaches, can lead to accurate results while being much less time consuming than Monte-Carlo approaches. We illustrate the techniques reviewed in this article on benchmarks of inference problems in genetic linkage analysis and computer vision, as well as on hidden variables restoration in coupled Hidden Markov Models.

研究の動機と目的

• グラフィカルモデルにおける推論の複雑さの主な要因が変数の数ではなく木幅である理由を明確にすること。
• 変数消去法が、周辺化、正規化、最尤推定のすべてを統一的に扱えるように、正確な推論を統合できることを示すこと。
• 木幅の上界を用いることで、正確な推論に適した効率的な消去順序の選定が可能になること。
• 木幅が高すぎて正確な計算が困難な場合、ループのある確率的伝搬や変分的手法のような近似推論手法を推奨すること。
• 効率的で構造に配慮したアルゴリズムの活用を通じて、統計的推論とコンピュータサイエンスの間のギャップを埋めること。

提案手法

• 半環に基づく統一的な代数的枠組みを用い、周辺化、正規化、最尤推定を変数消去の特別なケースとして表現する。
• 代数的演算子の分配法則（例：× が + に対して分配的）を活用し、変数消去の過程で計算複雑度を低減する。
• 木幅をアルゴリズムの複雑度の指標として用い、低木幅であれば多項式時間で正確な推論が可能になること。
• 木幅の上界を計算するアルゴリズムを用いて、近似的に最適な変数消去順序を導出する。
• 変数消去法と、ループのある確率的伝搬や変分近似といった近似推論手法を組み合わせ、高木幅のモデルに対しても対応する。
• グローバルな潜在関数（例：最小費用流問題を介して）や共役指数型分布族を統合し、特定の連続的または構造的ケースにおいて正確なメッセージパッシングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 木幅は、グラフィカルモデルにおける正確な推論の実行可能性にどのように影響を与えるか？
• RQ2 変数消去法を、周辺化、正規化、最尤推定といった異なるタスクに体系的かつ一貫して適用できるか？
• RQ3 木幅の上界を用いることで、正確な推論に適した効率的な消去順序をどの程度まで構築できるか？
• RQ4 高木幅のモデルにおいて、モンテカルロサンプリングよりも、メッセージパッシングや変分法による近似推論がより好ましい状況はどのようなものか？
• RQ5 正確な推論技術と確率的手法をどのように組み合わせることで、サンプリングの効率と精度を向上させられるか？

主な発見

• 変数消去法における計算複雑度の主な要因は、変数の数ではなく木幅である。
• 半環の統一的枠組みを用いることで、変数消去法は周辺化、正規化、最尤推定というすべての主要な推論タスクに体系的かつ一貫して適用可能である。
• 木幅の上界を計算するアルゴリズムを用いることで、低木幅のグラフにおいて正確な推論が可能となるような消去順序を構築できる。
• 高木幅のモデルでは、ループのある確率的伝搬や変分近似法が、モンテカルロ法に比べてはるかに低い計算コストで高い精度を得られる。
• 正確な最適化（例：最短経路、最小費用流）とメッセージパッシングを統合することで、複雑なグローバル潜在関数を含むケースでも効率的な推論が可能になる。
• モンテカルロサンプリングと変分的または正確な推論を組み合わせた最近のハイブリッド手法（例：離散粒子変分推論）は、精度と速度のバランスを取る上で有望である。