[論文レビュー] Exact Inference in Graphical Models: is There More to it?

Julian McAuley, Tibério S. Caetano|arXiv (Cornell University)|Oct 17, 2009

Topic Modeling参考文献 8被引用数 2

ひとこと要約

この論文は、三角化後の最大クリークが大きくなるため時間計算量が高くなる標準的な接合木アルゴリズムよりも、グラフィカルモデルにおける正確な推論をより効率的に行うことが可能かどうかを調査している。本稿では、効率的な推論手法を用いたループを持つ要因グラフを活用し、ポーズ再構築、ループ構造を持つモデル、スキップチェーンCRFなどの特定のモデルでは、ループがあっても正確な推論が可能であることを示しており、ループを持つグラフは常に近似結果をもたらすという仮定に疑問を呈している。

ABSTRACT

In general, the Junction-Tree Algorithm is ‘the solution ’ to exact inference in graphical models. It has running time O(AN C) where ◮ A is the number of nodes ◮ N is the domain size for each node ◮ C is the size of the maximal cliques in the triangulated graph nodes maximal cliques factors Factor Graphs O(AN C) can be pretty bad, since triangulating the graph often increases its maximal clique size. Instead, people often resort to inference in loopy factor-graphs, whose running time is O(AN F), where F is the size of the factors. However, this is generally inexact. nodes maximal cliques factors Some Examples ◮ models for pose reconstruction, e.g. [Sigal and Black, 2006] ◮ pairwise factors allow for some ‘elasticity’ of the joints ◮ maximal cliques of size threeSome Examples ◮ models with loops, e.g. [Coughlan and Ferreira, 2002] ◮ after triangulation, maximal cliques have size three ◮ loopy belief-propagation can be shown to converge to the correct solutionSome Examples ◮ skip-chain CRFs, e.g. [Sutton and McCallum, 2006,

研究の動機と目的

• 正確な推論には三角化と接合木が必要であるという従来の見解に挑戦し、これによりクリークサイズが著しく増大する問題を回避すること。
• 接合木アルゴリズムが計算的に非現実的となる状況において、ループを持つ要因グラフでも正確な推論が可能かどうかを調査すること。
• 小さな管理可能な要因や特定のループ構成を持つモデル構造—例えば、小さな最大クリークやペアワイズ要因を有するモデル—において、ループ付き信念伝搬が正確な解に収束するかどうかを同定すること。
• ループを持つ要因グラフにおける推論が正確な結果をもたらす条件を特定し、三角化に基づく手法に代わるより効率的な代替手段を提供すること。
• 特定のグラフィカルモデルアーキテクチャにおいて、ループ付き要因グラフを近似手法としてではなく、正確な推論ツールとして用いる理論的・実験的根拠を提供すること。

提案手法

• 三角化後の最大クリークサイズCを用いて、接合木アルゴリズムの時間計算量がO(AN C)とスケーリングすることを分析する。
• これに対して、要因サイズFを用いて、ループ付き要因グラフにおける推論がO(AN F)とスケーリングすることを比較する。一般的には、これは正確でないと考えられている。
• ペアワイズ要因を有するポーズ再構築、CoughlanとFerreira (2002) が研究したようなループ構造を持つモデル、およびSuttonとMcCallum (2006) が提唱したスキップチェーンCRFなど、要因クリークが小さい特定のモデルクラスを検討する。
• これらのモデルにおいてループ付き信念伝搬を適用し、正確な解への収束を評価することで、ループがあっても正確な推論が可能であることを実証する。
• 要因グラフ表現を用いて、三角化されたグラフで見られるクリークサイズの爆発を回避する。
• 実験的観察と理論的分析に依拠し、小さな構造的要因を持つモデルでは、完全な三角化を伴わずに正確な推論が可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 三角化と接合木アルゴリズムを用いずに、ループ付き要因グラフでも正確な推論が可能かどうか。
• RQ2 グラフィカルモデルにおいて、ループ付き信念伝搬が正確な後方分布に収束するための構造的条件は何か。
• RQ3 小さな最大クリークやペアワイズ要因を有する特定のモデルアーキテクチャ—例えば、ループ付きグラフにおける推論が効率的かつ正確であるかどうか。
• RQ4 ループ付き要因グラフにおける要因サイズFと、三角化後の最大クリークサイズCとの間で、計算効率の観点からどの程度差が生じるか。
• RQ5 スキップチェーンCRFやポーズ再構築システムなどのモデルが、ループ付き推論により正確な推論を達成できるかどうか。これは、こうした手法が本質的に近似的であるという仮定に反する。

主な発見

• ペアワイズ要因を有するポーズ再構築のようなモデルでは、クリーク拡大を伴う三角化を回避するために、ループ付き要因グラフを用いることで正確な推論が可能である。
• CoughlanとFerreira (2002) が研究したような特定のループ付きグラフィカルモデルでは、ループ付き信念伝搬が正しい解に収束するため、ループがあっても正確な推論が可能であることが示唆される。
• SuttonとMcCallum (2006) が提唱したスキップチェーンCRFは、要因サイズが小さい限り、構造的でループを持つ要因グラフが正確な推論をサポートできることを示している。
• 要因サイズFが三角化後の最大クリークサイズCに比べて著しく小さい（F ≪ C）場合、ループ付き要因グラフにおける推論の時間計算量O(AN F)は、接合木アルゴリズムのO(AN C)に比べて顕著に低くなる。これは、小さな構造的要因を持つモデルにおいて特に顕著である。
• 本稿では、ループ付きグラフは常に近似結果をもたらすという仮定が、すべての状況で成り立つとは限らないことが確立されており、特に小さな管理可能な要因を持つモデルでは顕著である。
• 特定の構造的で適切に設計されたグラフィカルモデルでは、三角化の計算的負担を伴わず、正確な推論が可能であることが示され、実践的な推論戦略の再考を促している。