[论文解读] D-MFVI: Distributed Mean Field Variational Inference using Bregman ADMM

Behnam Babagholami-Mohamadabadi, Sejong Yoon+1 more|arXiv (Cornell University)|Jul 3, 2015

Gaussian Processes and Bayesian Inference参考文献 20被引用 6

一句话总结

该论文提出D-MFVI，一种基于Bregman ADMM的分布式均值场变分推断框架，用于在大规模、去中心化的网络中实现可扩展的贝叶斯学习。该方法支持基于一致性参数共享的本地推断，在矩阵分解和运动结构任务中实现了与集中式推断相当的性能，同时有效处理缺失数据和流式输入。

ABSTRACT

Bayesian models provide a framework for probabilistic modelling of complex datasets. However, many of such models are computationally demanding especially in the presence of large datasets. On the other hand, in sensor network applications, statistical (Bayesian) parameter estimation usually needs distributed algorithms, in which both data and computation are distributed across the nodes of the network. In this paper we propose a general framework for distributed Bayesian learning using Bregman Alternating Direction Method of Multipliers (B-ADMM). We demonstrate the utility of our framework, with Mean Field Variational Bayes (MFVB) as the primitive for distributed Matrix Factorization (MF) and distributed affine structure from motion (SfM).

研究动机与目标

• 解决在存在隐私和通信约束的大规模分布式传感器网络中，集中式贝叶斯学习的局限性。
• 实现支持完整后验估计、不确定性量化和流式数据处理的分布式推断，这与传统确定性分布式优化方法不同。
• 开发一种可扩展的框架，在无需集中式数据收集或计算的情况下，保持与集中式推断相当的准确性。
• 在分布式设置中有效处理缺失数据（MAR 和 MNAR），利用贝叶斯推断，优于非贝叶斯替代方法。
• 通过 Bregman ADMM 将均值场变分推断扩展至分布式图模型，实现网络节点间的收敛与一致性。

提出的方法

• 构建一个包含全局和局部潜变量的一般贝叶斯图模型，假设节点间条件独立，并采用指数族分布。
• 应用均值场变分贝叶斯（MFVB）近似后验分布，将目标函数分解为局部项和一致性项。
• 采用 Bregman ADMM 将优化问题分解为局部更新和通过对偶变量与 Bregman 散度实现的一致性强制。
• 基于 Bregman 散度的分裂方法，推导出变分参数、对偶变量和一致性约束的迭代更新规则。
• 引入用于局部参数和对偶变量的分布式坐标上升更新，其收敛性由 ADMM 收敛性理论保证。
• 通过伽马先验和均值场更新扩展框架以学习超参数（如精度、聚集参数），替代点估计。

实验结果

研究问题

• RQ1 是否可以在不进行集中式数据收集或计算的情况下实现分布式贝叶斯推断，同时保持与集中式推断相当的准确性？
• RQ2 所提出的 D-MFVI 框架在分布式设置中如何处理缺失数据（MAR 和 MNAR），相较于非贝叶斯替代方法表现如何？
• RQ3 D-MFVI 在不同网络拓扑和规模下的收敛行为与可扩展性如何？
• RQ4 该框架是否能够通过避免在单个节点上进行批量处理，支持实时或流式数据处理？
• RQ5 在贝叶斯推断背景下，Bregman ADMM 在强制分布式节点间达成一致方面效果如何？

主要发现

• D-MFVI 在所有测试的网络规模和拓扑结构下均于 100 次迭代内收敛，目标值与集中式推断相当。
• 在环形、星型和全连接拓扑中，该算法最快仅需 10 次迭代即可收敛，性能对网络结构具有鲁棒性。
• 对于合成数据，D-BPCA 的重构误差与集中式 BPCA 相当，且在 100 次迭代内目标函数的相对变化低于 10^-3。
• 在 Caltech 数据集上，D-BPCA 在 MAR 和 MNAR 设置下均优于 D-PPCA，平均子空间夹角分别为 2.20 vs. 4.06（MAR）和 7.22 vs. 9.49（MNAR）。
• 在缺失数据实验中，D-BPCA 的均方根误差低于 D-PPCA，尤其在 MAR 条件下表现更优，体现出更强的数据补全能力。
• 该框架通过自然地整合不确定性和后验估计，成功处理流式数据和缺失数据，而传统确定性分布式方法则无法实现。