[論文レビュー] Gaussian Belief Propagation: Theory and Application

Danny Bickson|arXiv (Cornell University)|Nov 15, 2008

Error Correcting Code Techniques参考文献 101被引用数 82

ひとこと要約

本稿では、大規模な線形方程式系を解くための行列逆行列を必要とせず、反復的で分散型のメッセージパッシングアルゴリズムとして、ガウス型信念伝搬（GaBP）を提案する。収束保証、ブロードキャストメッセージングによる効率性の向上、最大1,024CPUを用いた5つの実世界のネットワーク問題への応用を示し、数百万ノードを含むシステムにおいても強力なスケーラビリティと正確性を示している。

ABSTRACT

The canonical problem of solving a system of linear equations arises in numerous contexts in information theory, communication theory, and related fields. In this contribution, we develop a solution based upon Gaussian belief propagation (GaBP) that does not involve direct matrix inversion. The iterative nature of our approach allows for a distributed message-passing implementation of the solution algorithm. In the first part of this thesis, we address the properties of the GaBP solver. We characterize the rate of convergence, enhance its message-passing efficiency by introducing a broadcast version, discuss its relation to classical solution methods including numerical examples. We present a new method for forcing the GaBP algorithm to converge to the correct solution for arbitrary column dependent matrices. In the second part we give five applications to illustrate the applicability of the GaBP algorithm to very large computer networks: Peer-to-Peer rating, linear detection, distributed computation of support vector regression, efficient computation of Kalman filter and distributed linear programming. Using extensive simulations on up to 1,024 CPUs in parallel using IBM Bluegene supercomputer we demonstrate the attractiveness and applicability of the GaBP algorithm, using real network topologies with up to millions of nodes and hundreds of millions of communication links. We further relate to several other algorithms and explore their connection to the GaBP algorithm.

研究の動機と目的

• 大規模ネットワークにおける線形方程式系を解くための、直接的行列逆行列を回避した分散型で反復的な代替手法の開発。
• 特に列依存性や悪条件の行列に対して、GaBPの収束特性を分析・改善すること。
• 5つの多様な応用を通じて、GaBPの実世界のネットワークシステムへの実用的適用を示すこと。
• メッセージパッシングパラダイムを用いて、スーパーコンピュータアーキテクチャ上で効率的でスケーラブルな計算を可能にすること。
• 古典的数値手法（カルマンフィルタリングや線形計画法など）とGaBPとの理論的・実験的関係を確立すること。

提案手法

• 線形方程式系の解法をガウス型グラフィカルモデルとして定式化し、信念伝搬によるメッセージパッシング推論を可能にする。
• 分散環境におけるメッセージパッシング効率を向上させるために、GaBPのブロードキャスト版を導入する。
• 任意の列依存行列に対しても正しい解に収束するように保証する、新しい手法を提案する。
• ノード間で局所的情報と近隣制約に基づく平均および分散のメッセージの反復的更新を実施する。
• ピアツーピアレーティングやサポートベクターレグレッションなどの応用を、要因グラフ表現を用いてGaBPフレームワークにマッピングする。
• IBM BlueGene上で大規模シミュレーションを実施し、最大1,024CPUおよび数百万ノードのシステムを用いて性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 行列逆行列を必要とせず、任意の列依存行列に対して、ガウス型信念伝搬（GaBP）を証明可能に収束させることが可能か？
• RQ2 ガウス＝セイデル法や共役勾配法といった古典的反復ソルバーよりも、GaBPは収束速度および精度で優れているか？
• RQ3 ピアツーピアレーティングやサポートベクターレグレッションなどの実世界のネットワークトポロジーに、GaBPは最大何百万ノード・何億リンクの規模までスケーリング可能か？
• RQ4 ブロードキャストメッセージパッシングの変種は、分散実装における計算効率をどのように向上させるか？
• RQ5 ガウス型信念伝搬（GaBP）と、カルマンフィルタリングや線形計画法といった確立されたアルゴリズムとの理論的・実用的関係は何か？

主な発見

• 提案されたGaBPアルゴリズムは、新しい安定化メカニズムにより、任意の列依存行列に対しても正しい解に収束することを達成した。
• ブロードキャストメッセージパッシングの変種は、分散環境における通信オーバーヘッドを削減することで、計算効率を顕著に向上させた。
• IBM BlueGeneスーパーコンピュータ上で実施した広範なシミュレーションにより、最大1,024CPUおよび数百万ノード、数億リンクのシステムにおいてもスケーラビリティが確認された。
• GaBPは、ピアツーピアレーティング、線形検出、サポートベクターレグレッション、カルマンフィルタリング、分散型線形計画法の5つの実世界問題を効果的に解いた。
• 数値ベンチマークにおいて、古典的手法と強い一致を示し、その正確性と頑健性を検証した。
• 理論的および実験的関係が、カルマンフィルタリングや線形計画法といった確立されたアルゴリズムとGaBPの間で確立され、その広範な適用可能性が浮き彫りになった。