[论文解读] Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation

Jun Li, Yumeng Shao+6 more|arXiv (Cornell University)|Jan 18, 2021

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本文提出BLADE-FL，一种集成区块链的去中心化联邦学习框架，旨在消除集中式联邦学习中单点故障的风险。通过使客户端在本地竞争挖矿与模型聚合，该框架实现了全局损失的凸上界，并通过最优资源分配使该上界最小化；实验结果表明，在MNIST和Fashion-MNIST数据集上，各种懒惰客户端和噪声条件下，理论边界与实际结果之间的差距小于5%。

ABSTRACT

Federated learning (FL), as a distributed machine learning paradigm, promotes personal privacy by local data processing at each client. However, relying on a centralized server for model aggregation, standard FL is vulnerable to server malfunctions, untrustworthy server, and external attacks. To address this issue, we propose a decentralized FL framework by integrating blockchain into FL, namely, blockchain assisted decentralized federated learning (BLADE-FL). In a round of the proposed BLADE-FL, each client broadcasts the trained model to other clients, aggregates its own model with received ones, and then competes to generate a block before its local training of the next round. We evaluate the learning performance of BLADE-FL, and develop an upper bound on the global loss function. Then we verify that this bound is convex with respect to the number of overall aggregation rounds K, and optimize the computing resource allocation for minimizing the upper bound. We also note that there is a critical problem of training deficiency, caused by lazy clients who plagiarize others' trained models and add artificial noises to disguise their cheating behaviors. Focusing on this problem, we explore the impact of lazy clients on the learning performance of BLADE-FL, and characterize the relationship among the optimal K, the learning parameters, and the proportion of lazy clients. Based on MNIST and Fashion-MNIST datasets, we show that the experimental results are consistent with the analytical ones. To be specific, the gap between the developed upper bound and experimental results is lower than 5%, and the optimized K based on the upper bound can effectively minimize the loss function.

研究动机与目标

• 解决集中式联邦学习（FL）系统中的单点故障脆弱性问题。
• 设计一种利用区块链实现无信任、点对点模型聚合的去中心化联邦学习框架。
• 推导BLADE-FL中全局损失函数的理论上界，并通过资源优化最小化该上界。
• 研究‘懒惰客户端’（即剽窃他人模型或注入噪声的客户端）对学习性能的影响。
• 通过MNIST和Fashion-MNIST上的实验验证理论模型，显示理论与实践结果高度一致。

提出的方法

• 将区块链挖矿与客户端本地模型训练整合为单一过程，实现无需中心服务器的去中心化模型聚合。
• 模型通过点对点广播；每个客户端在下一轮训练开始前，聚合接收到的模型并竞争生成新区块。
• 推导出关于聚合轮数总和 $K$ 的全局损失函数的凸上界，从而实现优化。
• 提出一种资源分配策略，通过调节 $K$ 实现最优收敛，以最小化推导出的上界。
• 分析懒惰客户端（即复制他人模型或添加人工噪声）行为的影响，并推导出此类行为下的修正上界。
• 通过高斯噪声实现差分隐私，评估隐私-效用权衡，结果表明最优 $K$ 不受隐私预算 $\epsilon$ 的影响。

实验结果

研究问题

• RQ1 如何设计一种去中心化联邦学习系统，以消除对中心服务器的依赖并防止单点故障？
• RQ2 所提出的BLADE-FL框架中，全局损失函数的理论上界是什么？该上界关于聚合轮数 $K$ 是否为凸函数？
• RQ3 懒惰客户端（即剽窃模型或注入噪声的客户端）的存在如何影响BLADE-FL的学习性能？
• RQ4 最小化损失函数上界所需的最优聚合轮数 $K^*$ 是多少？其如何随懒惰客户端比例或噪声功率变化？
• RQ5 基于理论边界推导的最优资源分配在多大程度上与真实数据集上的实验性能一致？

主要发现

• 全局损失函数的理论边界关于总聚合轮数 $K$ 是凸函数，支持高效优化。
• 在MNIST和Fashion-MNIST数据集上，理论边界与实验结果之间的差距始终低于5%。
• 随着懒惰客户端比例 ($M/N$) 的增加，最优训练步数上升——例如，在MNIST上，当 $M/N$ 从0%增至30%时，最优步数从30增至50。
• 更高的人工噪声功率 ($\sigma^2$) 导致最优训练时间延长，$\tau\alpha K^*$ 随 $\sigma^2$ 从0.01增至0.3而由30增至50。
• 最优聚合轮数 $K^*$ 与差分隐私中的隐私预算 $\epsilon$ 无关，意味着隐私保护不会改变最优资源分配。
• 更高的隐私预算 ($\epsilon$) 可带来更好的模型准确率和更低的损失，但以牺牲隐私保护为代价，证实了清晰的效用-隐私权衡。