[论文解读] Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with Lazy Clients

Jun Li, Yumeng Shao+5 more|arXiv (Cornell University)|Dec 2, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用 5

一句话总结

本文提出 BLADE-FL，一种基于区块链的去中心化联邦学习框架，其中客户端同时执行训练与挖矿，消除了对中心化服务器的依赖。该工作理论分析并优化了在懒惰客户端（复制模型并注入噪声）情况下的损失函数，证明了在总区块数 $K$ 上的凸性，并推导出能最小化损失并最大化准确率的最优 $K$，在 MNIST 和 Fashion-MNIST 数据集上通过一致的实验结果得到验证。

ABSTRACT

Federated learning (FL), as a distributed machine learning approach, has drawn a great amount of attention in recent years. FL shows an inherent advantage in privacy preservation, since users' raw data are processed locally. However, it relies on a centralized server to perform model aggregation. Therefore, FL is vulnerable to server malfunctions and external attacks. In this paper, we propose a novel framework by integrating blockchain into FL, namely, blockchain assisted decentralized federated learning (BLADE-FL), to enhance the security of FL. The proposed BLADE-FL has a good performance in terms of privacy preservation, tamper resistance, and effective cooperation of learning. However, it gives rise to a new problem of training deficiency, caused by lazy clients who plagiarize others' trained models and add artificial noises to conceal their cheating behaviors. To be specific, we first develop a convergence bound of the loss function with the presence of lazy clients and prove that it is convex with respect to the total number of generated blocks $K$. Then, we solve the convex problem by optimizing $K$ to minimize the loss function. Furthermore, we discover the relationship between the optimal $K$, the number of lazy clients, and the power of artificial noises used by lazy clients. We conduct extensive experiments to evaluate the performance of the proposed framework using the MNIST and Fashion-MNIST datasets. Our analytical results are shown to be consistent with the experimental results. In addition, the derived optimal $K$ achieves the minimum value of loss function, and in turn the optimal accuracy performance.

研究动机与目标

• 通过用基于区块链的去中心化架构替代中心化服务器，解决集中式联邦学习中的单点故障漏洞。
• 研究懒惰客户端（剽窃模型并注入人工噪声以逃避训练责任）的影响。
• 在存在懒惰客户端的情况下，理论上推导损失函数的收敛界，并证明其关于生成区块总数 $K$ 的凸性。
• 优化 $K$ 以最小化损失函数，并在不同懒惰客户端数量和噪声水平下实现最优学习性能。
• 使用 MNIST 和 Fashion-MNIST 数据集对理论发现进行实验验证，展示理论与实践之间的一致性。

提出的方法

• 将区块链集成到联邦学习中，使每个客户端同时执行模型训练与区块生成，从而消除对中心化服务器的需求。
• 将系统建模为同步框架，所有客户端对本地训练和区块挖矿采用相同的时间分配。
• 推导出考虑懒惰客户端存在的损失函数上界，证明其关于生成区块总数 $K$ 的凸性。
• 通过最优选择 $K$ 来最小化损失函数，求解凸优化问题，同时考虑懒惰客户端数量和噪声方差。
• 使用具有可控方差的人工噪声模拟懒惰客户端的隐蔽作弊行为，并分析其对最优 $K$ 的影响。
• 采用 MNIST 和 Fashion-MNIST 数据集评估不同懒惰客户端比例和噪声水平下的性能，对比理论预测与实验结果。

实验结果

研究问题

• RQ1 懒惰客户端（即复制模型并注入人工噪声的客户端）如何影响基于区块链保护的联邦学习系统的收敛性和性能？
• RQ2 能否为 BLADE-FL 中的损失函数推导出一个理论上的上界，使其能反映懒惰客户端的影响，并关于生成区块总数 $K$ 保持凸性？
• RQ3 最小化损失函数的最优区块数 $K$ 是多少？其如何随懒惰客户端数量和噪声方差的变化而变化？
• RQ4 在使用标准数据集的真实联邦学习场景中，理论预测的最优 $K$ 与实际实验结果相比如何？
• RQ5 最优 $K$、懒惰客户端数量与用于隐藏作弊行为的人工噪声强度之间存在何种关系？

主要发现

• BLADE-FL 中损失函数的上界被证明关于生成区块总数 $K$ 是凸的，从而支持有效的优化。
• 随着懒惰客户端数量的增加，最小化损失函数的最优 $K$ 减少，表明需要将计算资源更多地重新分配给训练。
• 最优 $K$ 随噪声方差的增加而减少，表明更高的噪声水平需要更多的训练努力以维持性能。
• 在 MNIST 数据集中，当无懒惰客户端（$M=0$）时，最优 $K$ 为 7；当 $M=6$（占比30%）时，下降至 5，显示出明确的反比关系。
• 在 Fashion-MNIST 上也观察到相同的最优 $K$ 趋势，证实了该理论模型在不同数据集上的泛化能力。
• 实验结果表明，所推导的最优 $K$ 能实现最小损失和最高准确率，验证了理论分析的有效性。