[论文解读] Decentralized Bayesian Learning over Graphs

Anusha Lalitha, Xinghan Wang+4 more|arXiv (Cornell University)|May 24, 2019

Privacy-Preserving Technologies in Data参考文献 27被引用 25

一句话总结

本文提出了一种在任意连通图上进行的去中心化贝叶斯学习算法，其中各智能体通过本地数据和与1跳邻居的异步对等聚合，迭代更新全局模型参数的后验分布。该方法在温和假设下提供了理论收敛保证，并实现了可扩展的、隐私保护的贝叶斯神经网络训练，具备不确定性量化能力。

ABSTRACT

We propose a decentralized learning algorithm over a general social network. The algorithm leaves the training data distributed on the mobile devices while utilizing a peer to peer model aggregation method. The proposed algorithm allows agents with local data to learn a shared model explaining the global training data in a decentralized fashion. The proposed algorithm can be viewed as a Bayesian and peer-to-peer variant of federated learning in which each agent keeps a "posterior probability distribution" over a global model parameters. The agent update its "posterior" based on 1) the local training data and 2) the asynchronous communication and model aggregation with their 1-hop neighbors. This Bayesian formulation allows for a systematic treatment of model aggregation over any arbitrary connected graph. Furthermore, it provides strong analytic guarantees on converge in the realizable case as well as a closed form characterization of the rate of convergence. We also show that our methodology can be combined with efficient Bayesian inference techniques to train Bayesian neural networks in a decentralized manner. By empirical studies we show that our theoretical analysis can guide the design of network/social interactions and data partitioning to achieve convergence.

研究动机与目标

• 为解决去中心化学习中的统计不足和隐私约束问题，使智能体能够在不共享原始数据的情况下协作学习全局模型。
• 开发一种完全去中心化的对等学习算法，用本地贝叶斯更新和邻居通信替代集中式聚合。
• 为任意强连通图上各智能体的后验分布提供理论收敛保证。
• 在去中心化环境中实现贝叶斯神经网络的高效训练，具备不确定性量化和对过拟合的鲁棒性。
• 通过收敛速率和模型模糊性的理论分析，指导网络结构设计和数据划分。

提出的方法

• 各智能体维护对全局模型参数的后验分布，通过使用本地数据和邻居信息进行贝叶斯推断来更新。
• 该算法采用异步对等模型聚合，每个智能体将其本地后验与邻居后验的加权平均值相结合。
• 网络结构建模为一般连通图，社交互动权重定义为邻居数量的倒数（1/|N(i)|）。
• 通过后验集中性的高概率界分析收敛性，收敛速率由网络中心性和本地学习能力表征。
• 该框架与高效的贝叶斯推断技术集成，支持贝叶斯神经网络的可扩展训练。
• 该方法支持异构数据划分，并可通过结构和数据划分分析检测并避免收敛到模糊标注函数。

实验结果

研究问题

• RQ1 去中心化的贝叶斯学习规则是否能在无中心服务器的情况下收敛到真实的全局模型参数？
• RQ2 网络拓扑，特别是智能体的中心性和度数，如何影响后验收敛速率？
• RQ3 本地数据质量和数据划分在去中心化贝叶斯学习的收敛性和准确性中起什么作用？
• RQ4 理论收敛分析能否指导网络结构和数据分布的实际设计选择？
• RQ5 在何种条件下算法无法收敛，此类失败如何被检测和避免？

主要发现

• 在温和假设下，包括强连通性以及智能体能够消除错误标注函数，该算法保证每个智能体的后验以几乎必然的方式收敛到真实全局模型参数。
• 收敛速率被理论表征，并显示当最具影响力的智能体（如高阶节点）可访问最具信息量的本地数据时，收敛速率最高。
• 实证结果证实，将数据丰富的智能体置于网络中心的高阶位置，相比置于边缘位置，能实现更快的收敛速度和更高的测试准确率。
• 违反假设2——即没有智能体能观测到所有标签对的区分特征——会导致置信度和准确率下降，尤其在模糊数据划分中（如MNIST和FMNIST中标签集不相交的情况）。
• 在非独立同分布（non-IID）数据的星型网络中，对分布外标签的置信度保持较低，当标签如'coat'和'pullover'无法同时被观测时，平均准确率降至69.7%。
• 该方法实现了高准确率和可扩展性，在异步、时变网络上成功训练了超过100个贝叶斯神经网络，具备鲁棒的不确定性估计能力。