[論文レビュー] Convergence Analysis of Distributed Inference with Vector-Valued Gaussian Belief Propagation

Jian Du, Shaodan Ma+3 more|arXiv (Cornell University)|Nov 7, 2016

Error Correcting Code Techniques参考文献 34被引用数 41

ひとこと要約

本稿は、分散型線形ガウスモデルにおけるベクトル値ガウス型信念伝搬（GBP）の厳密な収束解析を提供し、広範な条件下でメッセージ情報行列が二重指数的速率で一意の正定値極限に収束することを証明している。信念平均の収束が最適な集中型推定器に至るための必要十分条件を確立し、ループを含むネットワークでも有効であることを示しており、要因グラフが森に一つのループを加えた構造である場合、GBPは常に収束することが示された。

ABSTRACT

This paper considers inference over distributed linear Gaussian models using factor graphs and Gaussian belief propagation (BP). The distributed inference algorithm involves only local computation of the information matrix and of the mean vector, and message passing between neighbors. Under broad conditions, it is shown that the message information matrix converges to a unique positive definite limit matrix for arbitrary positive semidefinite initialization, and it approaches an arbitrarily small neighborhood of this limit matrix at a doubly exponential rate. A necessary and sufficient convergence condition for the belief mean vector to converge to the optimal centralized estimator is provided under the assumption that the message information matrix is initialized as a positive semidefinite matrix. Further, it is shown that Gaussian BP always converges when the underlying factor graph is given by the union of a forest and a single loop. The proposed convergence condition in the setup of distributed linear Gaussian models is shown to be strictly weaker than other existing convergence conditions and requirements, including the Gaussian Markov random field based walk-summability condition, and applicable to a large class of scenarios.

研究の動機と目的

• ループを含むネットワークにおけるガウス型信念伝搬の理論的収束保証の欠如に応えること。特に分散環境における収束保証の欠如に焦点を当てる。
• 局所的計算と隣接ノード間のメッセージ伝達のみが許可される大規模な分散型線形ガウスモデルにおける、ベクトル値GBPの収束挙動を分析すること。
• 初期メッセージ情報行列に依存しない、信念平均ベクトルが最適な集中型推定器に収束するための必要十分条件を導出すること。
• 要因グラフが森と一つのループの和集合である場合、GBPが収束することを示し、実用的なネットワークトポロジへの適用範囲を拡張すること。
• 従来の条件（例：ウォーク和分可能性）よりも厳密に弱い収束条件を確立することにより、適用可能なモデルの範囲を拡大すること。

提案手法

• GBPにおけるメッセージ情報行列の反復更新の収縮性を解析するために、Birkhoff距離を用いる。
• 要因グラフと線形ガウスモデルを用いて分散推論問題をモデル化し、各ノードが情報行列と平均ベクトルの局所的計算を実行する。
• 正定値行列の不等式および性質を適用して、情報行列が一意の極限に収束することを証明する。
• GBP更新方程式の固定点挙動を分析することで、信念平均収束の必要十分条件を導出する。
• パス和法の洞察を用いて、GBP収束を情報行列の逆行列に関連づけ、特にブロック対角成分に注目する。
• 行列逆数の補題と再帰的更新構造を用いて、ループを持つグラフにおける反復間でのメッセージの挙動を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 分散GBPにおけるメッセージ情報行列が、どのような条件下で一意の正定値極限に収束するか？
• RQ2 メッセージ情報行列の収束速度は何か？初期化に依存せずに有界に保てるとも言えるか？
• RQ3 信念平均ベクトルが最適な集中型推定器に収束するのはいつか？その収束のための必要十分条件は何か？
• RQ4 GBPの収束挙動は、特にループを含む場合の要因グラフのトポロジにどのように依存するか？
• RQ5 GBPの収束条件を、ガウスマルコフ確率場における既存の条件（例：ウォーク和分可能性）よりも厳密に弱くできるか？

主な発見

• 任意の半正定値初期化に対して、メッセージ情報行列は一意の正定値極限行列に二重指数的速率で収束する。
• 信念平均ベクトルが最適な集中型推定器に収束するのは、メッセージ情報行列が正しい極限に収束する場合に限る。これにより、必要十分条件が確立された。
• 要因グラフが森と一つのループの和集合である場合、GBPは常に収束する。このクラスのグラフは、多くの実用的ネットワークトポロジを含む。
• 提案された収束条件は、ガウスマルコフ確率場で用いられるウォーク和分可能性条件よりも厳密に弱く、より広範なモデルクラスでの収束を可能にする。
• GBPが収束している限り、情報行列の逆行列のブロック対角成分が正確でなくても、信念平均は集中型解と一貫性を保つ。
• 解析により、情報行列の逆行列が正定値行列によって下から有界であることが証明され、反復更新の安定性と収束性が保証された。