[论文解读] Convergence Analysis of Distributed Inference with Vector-Valued Gaussian Belief Propagation

Jian Du, Shaodan Ma+3 more|arXiv (Cornell University)|Nov 7, 2016

Error Correcting Code Techniques参考文献 34被引用 41

一句话总结

该论文对分布式线性高斯模型中的向量值高斯信念传播（GBP）提供了严格的收敛性分析，证明在广泛条件下，消息信息矩阵以双重指数速率收敛到唯一的正定极限。该研究建立了信念均值收敛至最优集中式估计器的充要条件，即使在网络存在环路时也成立，并表明当因子图是树加一个环时，GBP 总能收敛。

ABSTRACT

This paper considers inference over distributed linear Gaussian models using factor graphs and Gaussian belief propagation (BP). The distributed inference algorithm involves only local computation of the information matrix and of the mean vector, and message passing between neighbors. Under broad conditions, it is shown that the message information matrix converges to a unique positive definite limit matrix for arbitrary positive semidefinite initialization, and it approaches an arbitrarily small neighborhood of this limit matrix at a doubly exponential rate. A necessary and sufficient convergence condition for the belief mean vector to converge to the optimal centralized estimator is provided under the assumption that the message information matrix is initialized as a positive semidefinite matrix. Further, it is shown that Gaussian BP always converges when the underlying factor graph is given by the union of a forest and a single loop. The proposed convergence condition in the setup of distributed linear Gaussian models is shown to be strictly weaker than other existing convergence conditions and requirements, including the Gaussian Markov random field based walk-summability condition, and applicable to a large class of scenarios.

研究动机与目标

• 为解决在环路网络中高斯信念传播缺乏理论收敛保证的问题，特别是分布式设置下的问题。
• 分析在仅允许本地计算和邻居间消息传递的大规模分布式线性高斯模型中，向量值GBP的收敛行为。
• 推导信念均值向量收敛至最优集中式估计器的必要且充分条件，且该条件独立于初始消息信息矩阵。
• 证明当底层因子图是森林与一个环的并集时，GBP 总能收敛，从而将适用范围扩展至实际的网络拓扑。
• 建立一个严格弱于现有条件（如行走可加性）的收敛条件，从而扩大适用模型的范围。

提出的方法

• 使用Birkhoff度量分析GBP中消息信息矩阵迭代更新的压缩性质。
• 利用因子图和线性高斯模型建模分布式推理问题，其中每个节点执行信息矩阵和均值向量的本地计算。
• 应用矩阵不等式和正定矩阵的性质，证明信息矩阵收敛到唯一极限。
• 通过分析GBP更新方程的不动点行为，推导信念均值收敛的必要且充分条件。
• 借鉴路径求和方法的洞见，将GBP收敛性与信息矩阵的逆相关联，重点关注块对角元素。
• 利用矩阵求逆引理和递归更新结构，刻画环图中消息在迭代过程中的行为。

实验结果

研究问题

• RQ1 在分布式GBP中，消息信息矩阵在何种条件下收敛到唯一的正定极限？
• RQ2 消息信息矩阵的收敛速率如何？是否可独立于初始化进行有界？
• RQ3 信念均值向量在何时收敛至最优集中式估计器？其收敛的必要且充分条件是什么？
• RQ4 GBP的收敛行为如何依赖于底层因子图的拓扑结构，特别是在存在环路时？
• RQ5 GBP的收敛条件能否严格弱于高斯马尔可夫随机场中使用的行走可加性条件？

主要发现

• 对于任意半正定初始化，消息信息矩阵均收敛到唯一的正定极限矩阵，且收敛速率为双重指数。
• 信念均值向量收敛至最优集中式估计器，当且仅当消息信息矩阵收敛到正确的极限，从而建立了必要且充分条件。
• 当因子图是森林与一个环的并集时，高斯BP始终收敛，该类图包括许多实际网络拓扑。
• 所提出的收敛条件严格弱于高斯马尔可夫随机场中使用的行走可加性条件，使更多类模型可实现收敛。
• 即使信息矩阵逆的块对角元素不完全准确，只要GBP收敛，信念均值仍与集中式解保持一致。
• 分析证明信息矩阵的逆有正定下界，从而确保迭代更新的稳定性和收敛性。