[论文解读] Approximate Decentralized Bayesian Inference

Trevor Campbell, Jonathan P. How|arXiv (Cornell University)|Mar 28, 2014

Machine Learning and Algorithms参考文献 22被引用 5

一句话总结

本文提出近似后验对称合并（AMPS），一种用于去中心化贝叶斯推断的方法，可校正各智能体在变分后验中因对称性破坏而产生的问题。通过使用对称性感知目标函数优化特征排列，AMPS 在 LDA 和潜在特征分配等模型中，相较于朴素组合或批量方法，实现了更优的预测性能与计算效率。

ABSTRACT

This paper presents an approximate method for performing Bayesian inference in models with conditional independence over a decentralized network of learning agents. The method first employs variational inference on each individual learning agent to generate a local approximate posterior, the agents transmit their local posteriors to other agents in the network, and finally each agent combines its set of received local posteriors. The key insight in this work is that, for many Bayesian models, approximate inference schemes destroy symmetry and dependencies in the model that are crucial to the correct application of Bayes' rule when combining the local posteriors. The proposed method addresses this issue by including an additional optimization step in the combination procedure that accounts for these broken dependencies. Experiments on synthetic and real data demonstrate that the decentralized method provides advantages in computational performance and predictive test likelihood over previous batch and distributed methods.

研究动机与目标

• 解决由于变分推断中对称性破坏，导致去中心化贝叶斯学习中后验近似不一致的挑战。
• 实现在无中心协调器的动态、异步网络中稳健且可扩展的推断。
• 在具有固有对称性的无监督模型中，提升预测性能，超越朴素后验组合方法。
• 支持在部分通信、智能体故障及未知拓扑结构的临时网络中灵活部署。
• 提供与流式变分推断及现有去中心化学习流程兼容的通用框架。

提出的方法

• 每个智能体在其本地数据上执行局部变分推断，生成因子分解的近似后验。
• 智能体异步地将其本地后验参数（例如自然参数）与同伴共享。
• 通过一个对称性感知的组合步骤，使用目标函数（AMPS）重新排列特征以恢复被破坏的对称性。
• AMPS 目标函数定义为对特征的求和，结合先验与后验自然参数，采用 (1−N)×先验 + Σi×后验 规则。
• 通过迭代最大权二分图匹配优化，寻找最优的特征排列。
• 该方法与指数族模型兼容，可与流式变分近似集成。

实验结果

研究问题

• RQ1 如何使去中心化贝叶斯推断对各智能体变分近似中的对称性破坏具有鲁棒性？
• RQ2 后组合优化步骤是否能提升去中心化环境中预测性能，超越朴素贝叶斯组合方法？
• RQ3 在预测似然与计算效率方面，该方法与批量学习和分布式学习相比表现如何？
• RQ4 网络动态性与部分通信对去中心化推断性能有何影响？
• RQ5 该方法能否推广至非参数模型或具有未知潜变量维度的模型？

主要发现

• 在合成数据上，AMPS 将潜在特征发现的 2-范数误差降低至与批量学习相当的水平，优于朴素组合方法与单个智能体。
• 在合成数据集上，AMPS 的测试对数似然高于朴素方法，尽管由于模型灵活性，差距较小。
• 在人脸数据集上，AMPS 在保留像素上的预测对数似然优于朴素方法，展现出实际性能提升。
• 该方法在动态网络条件下仍保持性能，且无需完全网络连通性或同步更新。
• AMPS 实现了可扩展的去中心化推断，在大规模或流式场景中相较批量方法具有计算优势。
• 对称性感知优化步骤至关重要：朴素组合因变分近似中对称性破坏而无法恢复正确的后验结构。