[論文レビュー] Message-Passing Algorithms for Quadratic Minimization

Nicholas Ruozzi, Sekhar Tatikonda|arXiv (Cornell University)|Dec 2, 2012

Bayesian Modeling and Causal Inference参考文献 23被引用数 14

ひとこと要約

本稿では、再重み付けメッセージスイーピングを用いて計算木の正定値性を維持することで収束を保証する、二次的最小化のためのガウス型信念伝搬（GaBP）のパrameter化一般化を提案する。グラフカバーを用いてウォーク・サムラビリティを特徴付け、適切なパrameter選択により、任意の正定値行列に対して正しい解に収束することを示す。これにより、標準的なGaBPの収束限界を超えて適用範囲を拡張する。

ABSTRACT

Gaussian belief propagation (GaBP) is an iterative algorithm for computing the mean of a multivariate Gaussian distribution, or equivalently, the minimum of a multivariate positive definite quadratic function. Sufficient conditions, such as walk-summability, that guarantee the convergence and correctness of GaBP are known, but GaBP may fail to converge to the correct solution given an arbitrary positive definite quadratic function. As was observed in previous work, the GaBP algorithm fails to converge if the computation trees produced by the algorithm are not positive definite. In this work, we will show that the failure modes of the GaBP algorithm can be understood via graph covers, and we prove that a parameterized generalization of the min-sum algorithm can be used to ensure that the computation trees remain positive definite whenever the input matrix is positive definite. We demonstrate that the resulting algorithm is closely related to other iterative schemes for quadratic minimization such as the Gauss-Seidel and Jacobi algorithms. Finally, we observe, empirically, that there always exists a choice of parameters such that the above generalization of the GaBP algorithm converges.

研究の動機と目的

• 任意の正定値二次関数に対して標準的なガウス型信念伝搬（GaBP）が正しい解に収束しない問題を解決すること。
• グラフカバーを用いてGaBPの収束制限を特徴付け、ウォーク・サムラビリティの組合せ的理解を提供すること。
• 計算木の正定値性を保証する再重み付けメッセージスイーピング方式を開発し、収束性と正しさを保証すること。
• 特定のパrameter選択下で、提案されたアルゴリズムがガウス＝セイデル法やヤコビ法といった既知の反復解法と等価であることを示すこと。
• 任意の正定値行列に対して収束を保証する適切なパrameter選択が常に存在することを経験的に検証すること。

提案手法

• 計算木における対角成分と非対角成分の相対的過大評価を目的とした、メッセージの再重み付けを施したmin-sumアルゴリズムのパrameter化一般化を導入する。
• グラフカバーを用いてウォーク・サムラビリティの双対的特徴付けを構築し、計算木が正定値性を失う際にGaBPが失敗することを示す。
• ゲルシュゴリン円板定理を適用し、正定値性の下限を保証するように減衰パラメータ $ s $ と $ r $ を選ぶことで、計算木の固有値を有界化する。
• スケーリング要因 $ r $ と $ s $ を用いて計算木内のポテンシャルを再定式化し、時間や深さに依存しない固有値の境界解析を可能にする。
• 特定のパラメータ領域下で、再重み付けアルゴリズムがガウス＝セイデル法やヤコビ法といった古典的反復解法と等価であることを示す。
• 任意の正定値行列に対して、標準的なGaBPが失敗する場合でも、収束を保証するパラメータ選択が存在することを経験的に観察する。

実験結果

リサーチクエスチョン

• RQ1 ガウス型信念伝搬（GaBP）の二次的最小化における失敗モードは、グラフカバーを用いて完全に特徴付け可能か？
• RQ2 任意の正定値行列に対して、計算木の正定値性を保証する再重み付けメッセージスイーピングアルゴリズムは存在するか？
• RQ3 提案されたアルゴリズムは、標準的なGaBPが失敗する場合でも収束し、正しい解を計算できるか？
• RQ4 提案されたアルゴリズムは、ガウス＝セイデル法やヤコビ法といった古典的反復解法とどのように関係しているか？
• RQ5 再重み付けアルゴリズムに対して、すべての正定値行列で収束を保証するパラメータ設定が常に存在するか？

主な発見

• グラフカバーはウォーク・サムラビリティの組合せ的特徴付けを提供し、計算木が正定値でない場合にGaBPが失敗することを示す。
• 対角成分の正定値性を保証するmin-sumアルゴリズムのパラメータ化一般化により、入力行列が正定値であれば計算木も正定値のままである。
• 任意の正定値行列に対して正しい解に収束するため、GaBPの適用範囲をウォーク・サムラブルな場合に限定しないように拡張する。
• 正定値行列に対して、収束を保証するパラメータ選択が存在することが経験的に確認され、標準的なGaBPが失敗する場合でも有効である。
• 特定のパラメータ設定下で、提案されたアルゴリズムはガウス＝セイデル法やヤコビ法と数学的に等価であり、既知の反復解法と結びつく。
• 適切にパラメータ $ s $ と $ r $ を選択すれば、すべての計算木の固有値が正の $ \epsilon > 0 $ で下から有界化され、収束が保証される。