[論文レビュー] Distributed Convergence Verification for Gaussian Belief Propagation

Jian Du, Soummya Kar+1 more|arXiv (Cornell University)|Nov 26, 2017

Error Correcting Code Techniques参考文献 16被引用数 6

ひとこと要約

本稿では、線形ガウスモデルおよびガウスマルコフ確率的場（GMRFs）におけるガウス信念伝播（GBP）の分散型十分収束条件を提案する。この条件により、集中型計算を必要とせず、局所的に収束を検証可能となる。この条件は、局所的ブロック行列の固有値半径に基づくものであり、GBPが最適な集中型推定値に収束することを保証するとともに、アルゴリズムの低複雑性および分散型の性質を維持する。

ABSTRACT

Gaussian belief propagation (BP) is a computationally efficient method to approximate the marginal distribution and has been widely used for inference with high dimensional data as well as distributed estimation in large-scale networks. However, the convergence of Gaussian BP is still an open issue. Though sufficient convergence conditions have been studied in the literature, verifying these conditions requires gathering all the information over the whole network, which defeats the main advantage of distributed computing by using Gaussian BP. In this paper, we propose a novel sufficient convergence condition for Gaussian BP that applies to both the pairwise linear Gaussian model and to Gaussian Markov random fields. We show analytically that this sufficient convergence condition can be easily verified in a distributed way that satisfies the network topology constraint.

研究の動機と目的

• 大規模ネットワークにおける分散型ガウス信念伝播（GBP）の収束を検証する課題に対処すること。
• グローバルな情報集約を必要とせず、局所的に検証可能な十分収束条件を開発すること。
• GBPが最適な集中型推定値に収束するが、分散計算の効率性を維持すること。
• 収束検証を線形ガウスモデルおよびガウスマルコフ確率的場（GMRFs）の両方に拡張すること。

提案手法

• 局所的メッセージ更新ダイナミクスから導出されたブロック行列の固有値半径に基づく十分収束条件を提案する。
• 各変数ノード j に対して、GBPにおける局所的メッセージ依存関係を捉えるブロック行列 Q_j を定義する。
• ρ(Q_j Q_j^T) < 1 がGBPにおけるマージナル平均の収束の十分条件であることを示す。
• ρ(Q_j Q_j^T) が各ノードで局所的に計算可能であることを示し、分散型検証を可能にする。
• 線形ガウスモデルおよびGMRFsにこの条件を適用し、それぞれに同等の定式化を提供する。
• 行列の固有値半径解析を用いて、提案された条件下で正確なマージナル平均への収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 GBPの十分収束条件を、分散的に検証可能となる形で定式化できるか？
• RQ2 提案された条件は、線形ガウスモデルおよびGMRFsの両方で正確なマージナル平均への収束を保証するか？
• RQ3 収束条件は、集中型情報集約を必要とせず、局所的に計算可能か？
• RQ4 提案された条件は、既存の文献における十分条件とどのように関係するか？
• RQ5 分散環境下で収束条件を検証する際の計算複雑度はどの程度か？

主な発見

• 提案された条件 ρ(Q_j Q_j^T) < 1 は、線形ガウスモデルにおけるGBPが正確なマージナル平均に収束するための十分条件である。
• GMRFsでは、局所的メッセージ更新がゼロである場合、条件 ρ(~Q_j ~Q_j^T) < 1 が正確なマージナル平均への収束を保証する。
• 固有値半径 ρ(Q_j Q_j^T) は各ノードで局所的に計算可能であり、完全に分散型の検証を可能にする。
• 提案された条件は、ウォーク・サムラビリティ条件を含む、従来の十分収束条件を包含する。
• 条件の検証はノードあたり O(N^3) の計算複雑度を有するが、これは局所的であり、グローバルな情報交換を必要としない。
• GBPは、提案された分散型条件が満たされれば、最適な集中型推定器に収束する。