[论文解读] Bayesian Federated Learning: A Survey

Longbing Cao, Hui Chen+4 more|arXiv (Cornell University)|Apr 26, 2023

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本综述介绍了贝叶斯联邦学习（BFL）作为一种稳健的框架，将贝叶斯学习与联邦学习相结合，以应对数据稀缺、模型不确定性以及系统异构性等挑战。通过建模参数的分布并利用先验知识，BFL在隐私敏感的现实应用场景中实现了更可靠、可解释且动态的预测。

ABSTRACT

Federated learning (FL) demonstrates its advantages in integrating distributed infrastructure, communication, computing and learning in a privacy-preserving manner. However, the robustness and capabilities of existing FL methods are challenged by limited and dynamic data and conditions, complexities including heterogeneities and uncertainties, and analytical explainability. Bayesian federated learning (BFL) has emerged as a promising approach to address these issues. This survey presents a critical overview of BFL, including its basic concepts, its relations to Bayesian learning in the context of FL, and a taxonomy of BFL from both Bayesian and federated perspectives. We categorize and discuss client- and server-side and FL-based BFL methods and their pros and cons. The limitations of the existing BFL methods and the future directions of BFL research further address the intricate requirements of real-life FL applications.

研究动机与目标

• 解决传统联邦学习在处理有限、动态且非独立同分布（non-IID）数据时面临的高不确定性问题。
• 将贝叶斯学习的优势——先验知识、不确定性量化与鲁棒性——整合进联邦学习框架中。
• 从贝叶斯学习与联邦学习的双重视角，系统性地构建BFL方法的分类体系。
• 识别当前BFL方法中的关键技术缺口，并提出未来研究方向，以支持可操作的现实世界BFL应用。
• 通过具备不确定性感知的学习，支持可解释性、公平性与安全性的去中心化AI系统发展。

提出的方法

• 提出一个统一框架，将贝叶斯学习与联邦学习结合，以建模参数分布并量化不确定性。
• 将BFL方法分类为客户端与服务器端方法，并进一步根据联邦学习特有的挑战（如通信效率与异构性）进行细分。
• 提出一种双重分类体系，结合贝叶斯学习技术（如变分推断、蒙特卡洛丢弃）与联邦学习关注点（如非独立同分布数据、动态客户端）。
• 从贝叶斯原则（先验设定、后验推断）与联邦系统设计（聚合、通信、隐私）两个角度分析BFL方法。
• 研究混合BFL架构，结合贝叶斯方法与其他范式，如迁移学习、强化学习与边缘计算。
• 提出评估标准，不仅包含技术指标，还涵盖领域驱动、伦理与可操作的性能指标，如公平性、可解释性与可验证性。

实验结果

研究问题

• RQ1 在数据稀缺与非独立同分布条件下，贝叶斯学习如何提升联邦学习的鲁棒性与不确定性量化能力？
• RQ2 从可扩展性、通信效率与准确性角度，客户端与服务器端贝叶斯联邦学习方法的关键差异与权衡是什么？
• RQ3 BFL如何有效处理概念漂移、标签稀缺与多模态等复杂数据特征？
• RQ4 当前BFL方法中存在哪些主要技术缺口，阻碍其在真实世界、生产级去中心化AI系统中的部署？
• RQ5 如何扩展BFL以支持混合、多源与多模态学习场景，同时保持隐私与效率？

主要发现

• 通过利用先验知识与后验推断，BFL显著提升了在低数据量与动态客户端环境下的模型鲁棒性与不确定性校准能力。
• 客户端BFL方法在个性化与隐私保护方面表现更优，但面临通信效率与收敛稳定性方面的挑战。
• 服务器端BFL支持集中式不确定性建模与全局一致性，但存在对主导客户端过拟合的风险，且缺乏细粒度个性化能力。
• 混合BFL架构（如结合贝叶斯方法与迁移学习、边缘推理或压缩通信）在扩展至复杂现实部署方面展现出巨大潜力。
• 当前BFL方法在异步、去中心化或资源受限环境中仍面临计算与通信开销过大的问题。
• 可操作的BFL不仅需要技术改进，还需整合伦理、可解释性与可验证性设计原则，以满足真实世界部署需求。