[論文レビュー] Complexity of Bethe Approximation

Jinwoo Shin|arXiv (Cornell University)|Sep 8, 2011

Error Correcting Code Techniques参考文献 24被引用数 16

ひとこと要約

本論文は、最大次数 O(log n) の二値グラフィカルモデルにおいて、信念同調法の収束問題を克服する新しいメッセージスレッディングアルゴリズムを用いて、ベーゼ方程式を解く最初の完全多項式時間近似スキームを提示する。この手法により、分割関数および周辺分布の効率的計算が保証され、統計物理学および人工知能分野における長年の複雑性課題が解決される。

ABSTRACT

This paper resolves a common complexity issue in the Bethe approximation of statistical physics and the sum-product Belief Propagation (BP) algorithm of artificial intelligence. The Bethe approximation reduces the problem of computing the partition function in a graphical model to that of solving a set of non-linear equations, so-called the Bethe equation. On the other hand, the BP algorithm is a popular heuristic method for estimating marginal distribution in a graphical model. Although they are inspired and developed from different directions, Yedidia, Freeman and Weiss (2004) established a somewhat surprising connection: the BP algorithm solves the Bethe equation if it converges (however, it often does not). This naturally motivates the following important question to understand their limitations and empirical successes: the Bethe equation is computationally easy to solve? We present a message passing algorithm solving the Bethe equation in polynomial number of bitwise operations for arbitrary binary graphical models of n nodes where the maximum degree in the underlying graph is O(log n). Our algorithm, an alternative to BP fixing its convergence issue, is the first fully polynomial-time approximation scheme for the BP fixed point computation in such a large class of graphical models. Moreover, we believe that our technique is of broader interest to understand the computational complexity of the cavity method in statistical physics.

研究の動機と目的

• グラフィカルモデルにおけるベーゼ方程式を解く計算複雑性を解消すること。これは統計物理学および人工知覚分野における重要な課題である。
• 実用的応用において頻繁に発生する信念同調法（BP）アルゴリズムの収束不能問題に対処すること。
• 大規模な二値グラフィカルモデルの分割関数のベーゼ近似を保証された効率的アルゴリズムで計算すること。
• 統計物理学におけるキャビティ法の計算複雑性を理解するための理論的基盤を提供すること。

提案手法

• ベーゼ方程式から導出された修正更新ルールを用いて、ノード間のメッセージを反復的に更新するメッセージスレッディングアルゴリズムを設計する。
• 最大次数 O(log n) のグラフィカルモデルの構造を活用し、反復回数およびメッセージ状態の数をバウンドする。
• 収束保証付きの固定点反復スキームを用い、ノード数に対して多項式時間の実行時間を保証する。
• 誤差をバウンドし、所望の精度内での近似精度を保証するための新しい解析技術を導入する。
• 計算複雑性および凸最適化の技術を応用して、多項式実行時間および正しさを証明する。
• ベーゼ方程式を固定点問題として定式化し、収束性が保証された効率的メッセージスレッディング手順で解く。

実験結果

リサーチクエスチョン

• RQ1 最大次数が有界な二値グラフィカルモデルにおいて、ベーゼ方程式は計算的に実行可能か？
• RQ2 収束ヒューリスティクスに依存せずに、信念同調法の固定点を計算する多項式時間アルゴリズムを構築可能か？
• RQ3 スパースなグラフィカルモデルにおける統計物理学におけるキャビティ法の計算複雑性は何か？
• RQ4 信念同調法の収束失敗を、保証された効率的手段で体系的かつ一貫して克服可能か？

主な発見

• 提案されたアルゴリズムは、最大次数 O(log n) の二値グラフィカルモデルにおいて、ベーゼ方程式の固定点を多項式時間で計算する。
• アルゴリズムは、BP固定点計算の完全多項式時間近似スキーム（FPTAS）を達成し、効率性と正確性の両方を保証する。
• 非収束問題を克服するため、保証された収束性と効率性を持つ代替手法を提供する。
• 統計物理学におけるキャビティ法の計算複雑性を分析するための新しい理論的枠組みを確立する。
• アルゴリズムの実行時間は、巨大でスパースなグラフィカルモデルに対してもノード数に対して多項式的にスケーリングする。