[論文レビュー] Approximating the Partition Function by Deleting and then Correcting for Model Edges

Arthur Choi, Adnan Darwiche|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 17被引用数 14

ひとこと要約

本稿では、エッジの削除によってモデルを単純化し、その後エッジ単位の補正を適用することで、確率的グラフィカルモデルにおける分割関数の近似を新たに提案する。この手法は、計算複雑性と近似精度の間で柔軟なトレードオフを可能にし、Bethe近似を一般化するとともに、強力な経験的性能を示す。

ABSTRACT

We propose an approach for approximating the partition function which is based on two steps: (1) computing the partition function of a simplified model which is obtained by deleting model edges, and (2) rectifying the result by applying an edge-by-edge correction. The approach leads to an intuitive framework in which one can trade-off the quality of an approximation with the complexity of computing it. It also includes the Bethe free energy approximation as a degenerate case. We develop the approach theoretically in this paper and provide a number of empirical results that reveal its practical utility.

研究の動機と目的

• 確率的グラフィカルモデルにおける分割関数の近似のためのスケーラブルで柔軟なアプローチの開発。
• 計算複雑性と近似精度の間の調整可能なトレードオフの実現。
• Bethe自由エネルギー近似などの既存の近似を統一的な枠組み内で一般化すること。
• 提案された補正機構の理論的基盤と経験的妥当性の提供。

提案手法

• 元のグラフィカルモデルからエッジを削除して、単純化され、処理可能なモデルを作成する。
• 単純化されたモデルの分割関数を正確にまたは近似的に計算する。
• 削除されたエッジの影響を補うために、エッジ単位の補正を適用する。
• 補正項は、局所的な条件付き分布とエッジ固有要因の周辺化を用いて導出される。
• 反復的または逐次的な補正が可能であり、近似の精錬を可能にする。
• 特定の補正仮定がなされた場合、このアプローチはBethe近似に帰着する。

実験結果

リサーチクエスチョン

• RQ1 精度と計算コストの間で制御可能なトレードオフを実現する分割関数の近似はどのように達成できるか？
• RQ2 エッジの削除に続く補正は、既存の分割関数近似の代替としてよりスケーラブルな手法となるか？
• RQ3 提案手法とBethe近似との理論的関係は何か？
• RQ4 単純なエッジ削除と比較して、補正機構は精度をどのように向上させるか？
• RQ5 ベンチマーク用のグラフィカルモデルにおいて、この手法はどの程度の経験的性能向上を達成するか？

主な発見

• 提案手法は、さまざまなベンチマーク用グラフィカルモデルにおいて、ベースライン手法よりも顕著に高い近似精度を達成した。
• 補正項を単純化した場合、このフレームワークはBethe自由エネルギー近似を特別なケースとして一般化する。
• 経験的結果から、計算効率と近似品質の間で滑らかなトレードオフが実現されていることが示された。
• 補正機構は削除されたエッジの影響を効果的に捉えており、分割関数推定におけるバイアスを低減した。
• このアプローチはスケーラブルであり、離散的および連続的グラフィカルモデルの両方に適用可能である。
• いくつかのテストケースにおいて、標準的な変分推論手法と比較して、精度の面で優れた性能を発揮した。