[论文解读] Convergence analysis of belief propagation for pairwise linear Gaussian models

Jian Du, Shaodan Ma+3 more|arXiv (Cornell University)|Jun 12, 2017

Distributed Sensor Networks and Detection Algorithms参考文献 8被引用 9

一句话总结

本文针对具有成对线性高斯模型的环状网络中的高斯信念传播（BP）提供了收敛性分析，其中相邻代理共享一个共同观测。证明了信息矩阵会几何收敛到唯一的正定矩阵，并建立了信念均值收敛到最优估计的充要条件——系统矩阵的谱半径小于1。

ABSTRACT

Gaussian belief propagation (BP) has been widely used for distributed inference in large-scale networks such as the smart grid, sensor networks, and social networks, where local measurements/observations are scattered over a wide geographical area. One particular case is when two neighboring agents share a common observation. For example, to estimate voltage in the direct current (DC) power flow model, the current measurement over a power line is proportional to the voltage difference between two neighboring buses. When applying the Gaussian BP algorithm to this type of problem, the convergence condition remains an open issue. In this paper, we analyze the convergence properties of Gaussian BP for this pairwise linear Gaussian model. We show analytically that the updating information matrix converges at a geometric rate to a unique positive definite matrix with arbitrary positive semidefinite initial value and further provide the necessary and sufficient convergence condition for the belief mean vector to the optimal estimate.

研究动机与目标

• 为解决在具有成对线性高斯模型的环状网络中高斯信念传播缺乏理论收敛保证的问题。
• 分析当两个相邻代理共享共同观测时信念传播的收敛特性，这是分布式估计中的常见情形。
• 推导信念均值向量收敛到最优集中估计的必要和充分条件。
• 证明在任意半正定初始化下，信息矩阵会几何收敛到唯一的正定矩阵。

提出的方法

• 使用成对线性高斯模型对分布式估计进行建模，其中代理i和j之间的观测与其局部未知量通过线性关系关联，并加入加性高斯噪声。
• 推导信念传播的消息传递方程，将信念均值和信息矩阵的更新表示为本地测量、噪声协方差和先验分布的函数。
• 将信念更新方程转化为形式为 $\mathbf{v}^{(\ell)} = -\mathbf{Q}\mathbf{v}^{(\ell-1)} + \mathbf{b}$ 的线性系统，从而实现对收敛性的谱分析。
• 通过谱半径 $\rho(\mathbf{Q})$ 分析收敛性，表明 $\rho(\mathbf{Q}) < 1$ 是信念均值收敛到最优估计的必要且充分条件。
• 证明在任意半正定初始值下，信息矩阵 $\mathbf{C}^{(\ell)}$ 几何收敛到唯一的正定矩阵。
• 利用矩阵求逆引理和分块矩阵分解，将消息更新以紧凑的分布式形式表达，适用于网络化代理。

实验结果

研究问题

• RQ1 在具有共享观测的成对线性高斯模型中，信念传播在何种条件下收敛到最优估计？
• RQ2 在任意半正定初始化下，信念传播中的信息矩阵是否几何收敛到唯一的正定矩阵？
• RQ3 能否为该类模型中信念均值向量的收敛性推导出必要和充分条件？
• RQ4 该模型中信思传播的收敛行为与标准马尔可夫随机场公式有何不同？

主要发现

• 在任意半正定初始值下，信息矩阵 $\mathbf{C}^{(\ell)}$ 几何收敛到唯一的正定矩阵。
• 信念均值向量 $\bm{\mu}_i^{(\ell)}$ 当且仅当谱半径 $\rho(\mathbf{Q}) < 1$ 时收敛到最优估计 $\hat{\mathbf{x}}_i$，其中 $\mathbf{Q}$ 由网络拓扑和系统参数导出。
• 信念均值的收敛性等价于消息向量 $\mathbf{v}^{(\ell)}$ 的收敛性，后者取决于系统矩阵 $\mathbf{Q}$ 的谱半径。
• 所提出的收敛条件 $\rho(\mathbf{Q}) < 1$ 是信念均值达到最优集中估计的必要且充分条件。
• 分析表明，现有适用于马尔可夫随机场的收敛条件不适用于此类分布式估计问题，原因在于消息传递动力学存在差异。
• 结果为智能电网和传感器网络等应用中高斯BP提供了理论保证，这些应用中代理间的共享观测十分常见。