[論文レビュー] Convergence analysis of the information matrix in Gaussian belief propagation

Jian Du, Shaodan Ma+3 more|arXiv (Cornell University)|Apr 13, 2017

Distributed Sensor Networks and Detection Algorithms参考文献 10被引用数 7

ひとこと要約

本稿は、大規模ネットワークにおける分散推定のためのガウス型信念伝搬（GBP）における情報行列の収束を確立する。任意の正定値半行列の初期化のもとで、交換されるメッセージの情報行列が、幾何的（指数的）な速度で一意の正定値極限に収束することを証明しており、ループを含むネットワークにおけるGBPの理論的保証を提供する。

ABSTRACT

Gaussian belief propagation (BP) has been widely used for distributed estimation in large-scale networks such as the smart grid, communication networks, and social networks, where local measurements/observations are scattered over a wide geographical area. However, the convergence of Gaus- sian BP is still an open issue. In this paper, we consider the convergence of Gaussian BP, focusing in particular on the convergence of the information matrix. We show analytically that the exchanged message information matrix converges for arbitrary positive semidefinite initial value, and its dis- tance to the unique positive definite limit matrix decreases exponentially fast.

研究の動機と目的

• ループを含むネットワークにおけるガウス型信念伝搬（GBP）の理論的収束保証の欠如に取り組む。
• 分散推定問題におけるGBPにおけるメッセージ情報行列の収束行動を分析する。
• 初期化にかかわらず、情報行列が一意の正定値極限に収束することを確立する。
• 部分距離（part metric）および標準的行列ノルムを用いて、情報行列の収束速度を定量化する。

提案手法

• 固定点形式を用いて、GBPにおける情報行列の反復更新を分析する。
• 部分距離を用いて、現在の情報行列と極限情報行列との距離を測定する。
• 行列不等式および正定値行列の性質を用いて、距離の収縮率を評価する。
• 行列ノルムの単調性および連続性を活用し、部分距離を標準的誘導ノルムに関連付ける。
• ペロン＝フロベニウスの定理および行列対数ノルムを用いて、指数的収束を確立する。
• 部分距離において収縮係数 c < 1 を導出し、幾何的収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 任意の正定値半行列の初期化のもとで、ガウス型信念伝搬（GBP）における情報行列は収束するか？
• RQ2 GBPにおける分散推定の情報行列の収束速度は何か？
• RQ3 従来の十分条件が適用されないループを含むネットワークでも収束を保証できるか？
• RQ4 現在の情報行列とその極限との距離は、反復回数とともにどのように変化するか？
• RQ5 収束速度は指数的であり、標準的行列ノルムを用いて有界化できるか？

主な発見

• 任意の正定値半行列の初期化のもとで、情報行列は一意の正定値極限行列に収束する。
• 収束速度は幾何的（指数的）であり、ある c < 1 に対して d(C^(ℓ), C*) < c^ℓ d(C^(0), C*) が成り立つ。
• 部分距離における収縮係数 c は 1 よりも厳密に小さいため、グローバル収束が保証される。
• 標準的行列ノルム（例：||·||₂, ||·||_F）における収束速度は、部分距離に支配され、高速な収束を示す。
• 現在の行列と極限行列との距離は、||C^(ℓ) - C*|| ≤ (2exp{d} - exp{-d} - 1) min{||C^(ℓ)||, ||C*||} を満たす。ここで d = d(C^(ℓ), C*) である。
• 情報行列の理論的収束により、GBPにおけるメッセージ平均ベクトルの収束の証明への道筋が開かれる。