[論文レビュー] Convergence analysis of belief propagation for pairwise linear Gaussian models

Jian Du, Shaodan Ma+3 more|arXiv (Cornell University)|Jun 12, 2017

Distributed Sensor Networks and Detection Algorithms参考文献 8被引用数 9

ひとこと要約

本稿は、隣接エージェントが共通の観測値を持つペアワイズ線形ガウスモデルにおけるガウス型信念伝搬（BP）の収束解析を提供する。情報行列が一意の正定値行列に幾何的に収束することを証明し、信念平均が最適推定値に収束するための必要十分条件——システム行列の固有値半径が1未満であること——を確立する。

ABSTRACT

Gaussian belief propagation (BP) has been widely used for distributed inference in large-scale networks such as the smart grid, sensor networks, and social networks, where local measurements/observations are scattered over a wide geographical area. One particular case is when two neighboring agents share a common observation. For example, to estimate voltage in the direct current (DC) power flow model, the current measurement over a power line is proportional to the voltage difference between two neighboring buses. When applying the Gaussian BP algorithm to this type of problem, the convergence condition remains an open issue. In this paper, we analyze the convergence properties of Gaussian BP for this pairwise linear Gaussian model. We show analytically that the updating information matrix converges at a geometric rate to a unique positive definite matrix with arbitrary positive semidefinite initial value and further provide the necessary and sufficient convergence condition for the belief mean vector to the optimal estimate.

研究の動機と目的

• ループを持つネットワークにおけるガウス型信念伝搬の理論的収束保証の欠如に取り組む。
• 分散推定の一般的な状況である、2つの隣接エージェントが共通の観測値を持つ場合の信念伝搬の収束特性を分析する。
• 信念平均ベクトルが最適集中推定値に収束するための必要十分条件を導出する。
• 任意の正半定値初期化のもとで、情報行列 $\mathbf{C}^{(\ell)}$ が一意の正定値行列に幾何的に収束することを証明する。

提案手法

• エージェント間の観測値が局所的な未知数と加法的ガウスノイズを伴って線形に関係するペアワイズ線形ガウスモデルを用いて分散推定をモデル化する。
• 信念伝搬のメッセージパッシング式を導出し、信念平均および情報行列の更新を局所的測定値、ノイズ分散、事前分布の用語で表現する。
• 信念更新式を $\mathbf{v}^{(\ell)} = -\mathbf{Q}\mathbf{v}^{(\ell-1)} + \mathbf{b}$ の形の線形系に変換し、収束のスペクトル解析を可能にする。
• 収束をスペクトル半径 $\rho(\mathbf{Q})$ を用いて分析し、$\rho(\mathbf{Q}) < 1$ が信念平均が最適推定値に収束するための必要十分条件であることを示す。
• 任意の正半定値初期値に対して、情報行列 $\mathbf{C}^{(\ell)}$ が一意の正定値行列に幾何的に収束することを証明する。
• 行列の逆行列補題とブロック行列分解を用いて、ネットワークエージェントに適したコンactな分散形式でメッセージ更新を表現する。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ線形ガウスモデルで共通の観測値を持つ場合、信念伝搬が最適推定値に収束する条件は何か？
• RQ2 任意の正半定値初期化のもとで、信念伝搬における情報行列が一意の正定値行列に幾何的に収束するか？
• RQ3 このクラスのモデルにおいて、信念平均ベクトルの収束のための必要十分条件を導出可能か？
• RQ4 このモデルにおける信念伝搬の収束行動は、標準的なマークフ・ランダムフィールド定式化とどのように異なるか？

主な発見

• 任意の正半定値初期値に対して、情報行列 $\mathbf{C}^{(\ell)}$ は一意の正定値行列に幾何的に収束する。
• 信念平均ベクトル $\bm{\mu}_i^{(\ell)}$ が最適推定値 $\hat{\mathbf{x}}_i$ に収束するのは、システム行列 $\mathbf{Q}$ の固有値半径 $\rho(\mathbf{Q}) < 1$ である場合に限る。ここで $\mathbf{Q}$ はネットワーク構造とシステムパラメータから導出される。
• 信念平均の収束は、メッセージベクトル $\mathbf{v}^{(\ell)}$ の収束と同値であり、これはシステム行列 $\mathbf{Q}$ の固有値半径に依存する。
• 提案された収束条件 $\rho(\mathbf{Q}) < 1$ は、信念平均が最適集中推定値に到達するための必要十分条件である。
• 本分析により、マークフ・ランダムフィールドに既存の収束条件がこの種の分散推定問題に適用できないことが明らかになった。これはメッセージパッシングダイナミクスの相違に起因する。
• 本結果は、スマートグリッドやセンサネットワークなど、エージェント間で共通の観測値を持つ応用分野におけるガウス型BPの理論的保証を提供する。