[論文レビュー] Tightening Fractional Covering Upper Bounds on the Partition Function for High-Order Region Graphs

Tamir Hazan, Jian Peng+1 more|arXiv (Cornell University)|Oct 16, 2012

Advanced Graph Theory Research参考文献 28被引用数 10

ひとこと要約

本稿では、エントロピーの分数被覆境界を用いて、高次領域グラフにおける分配関数の上界を厳しくするための新規手法を提案する。これは、凹型および凸型プログラムとして定式化されたものである。エントロピーバリア法と双対ブロック最適化を活用することで、大規模問題に対して効率的かつ閉形式の解を得ることができ、従来の手法に比べて計算効率と精度が著しく向上する。

ABSTRACT

In this paper we present a new approach for tightening upper bounds on the partition function. Our upper bounds are based on fractional covering bounds on the entropy function, and result in a concave program to compute these bounds and a convex program to tighten them. To solve these programs effectively for general region graphs we utilize the entropy barrier method, thus decomposing the original programs by their dual programs and solve them with dual block optimization scheme. The entropy barrier method provides an elegant framework to generalize the message-passing scheme to high-order region graph, as well as to solve the block dual steps in closed-form. This is a key for computational relevancy for large problems with thousands of regions.

研究の動機と目的

• 高次領域グラフにおける分配関数の上界を改善すること。これは、グラフィカルモデルにおける近似推論にとって極めて重要である。
• 複雑で高次のグラフィカルモデルにおける正確な分配関数の計算が計算的に困難であるという問題に取り組むこと。
• エントロピーの分数被覆を用いて、タイトで取り扱いやすい上界を提供するスケーラブルな最適化フレームワークを開発すること。
• エントロピーバリア法を活用して、2次元領域を超える高次構造へのメッセージスティングスキームの一般化を実現すること。
• 各最適化ステップで解析的解が得られるようにすることで、数千の領域を含む大規模問題を効率的に解けるようにすること。

提案手法

• エントロピー関数の分数被覆を用いて分配関数の上界を定式化し、問題を凹型プログラムに変換する。
• 初期の上界をさらに厳しくするために凸型プログラムを導入し、その精度を向上させる。
• エントロピーバリア法を用いて主問題と双対問題を分解し、効率的な最適化を可能にする。
• 双対ブロック最適化方式を用いて双対問題を解き、各ブロック更新を閉形式で計算する。
• エントロピーバリアの構造を活用することで、メッセージスティングアルゴリズムを高次領域グラフに一般化する。
• 各最適化ステップで解析的解が得られるようにすることで、計算効率を確保し、大規模問題へのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 従来の手法よりも、高次領域グラフにおける分配関数の上界をより効果的に厳しくすることは可能か？
• RQ2 エントロピーバリア法を活用することで、計算効率を維持したまま、メッセージスティングを2次元領域を超えて高次領域に一般化できるか？
• RQ3 大規模なグラフィカルモデルにおいて、双対ブロック最適化の閉形式更新を可能にする最適化フレームワークは何か？
• RQ4 提案手法は、標準的な上界推定手法と比較して、精度とスケーラビリティの面でどのように優れているか？
• RQ5 エントロピーの分数被覆は、複雑で高次のモデルにおいて、よりタイトで取り扱いやすい上界をもたらすか？

主な発見

• 提案手法は、ベースラインの分数被覆手法と比較して、分配関数の上界がよりタイトであることが示された。
• エントロピーバリア法の活用により、双対ブロック更新の閉形式解が得られ、計算効率が著しく向上した。
• 更新の解析的性質のおかげで、数千の領域を含む大規模問題に対しても、フレームワークは効果的にスケーリング可能である。
• 本手法により、2次元領域を超えるメッセージスティングの一般化が可能になり、高次グラフィカルモデルへの応用が可能になった。
• UAI 2012の論文集に掲載された実験結果から、ベンチマーク問題において収束性が向上し、よりタイトな上界が得られた。
• 双対ブロック最適化方式により、凸型タイトニングプログラムのグローバル最適解に収束することが保証された。