[论文解读] When Federated Learning Meets Blockchain: A New Distributed Learning Paradigm

Chuan Ma, Jun Li+5 more|arXiv (Cornell University)|Sep 20, 2020

Privacy-Preserving Technologies in Data被引用 26

一句话总结

本文提出 BLADE-FL，一种基于区块链的去中心化联邦学习框架，通过去中心化模型聚合并整合客户端训练与区块链挖矿，消除了传统联邦学习中对单一中心服务器的依赖。该系统增强了安全性，抵御投毒攻击，并通过激励机制提高系统韧性，在存在懒惰客户端的情况下实现最高18%的性能提升，同时通过自适应差分隐私实现有效的隐私保护学习。

ABSTRACT

Motivated by the explosive computing capabilities at end user equipments, as well as the growing privacy concerns over sharing sensitive raw data, a new machine learning paradigm, named federated learning (FL) has emerged. By training models locally at each client and aggregating learning models at a central server, FL has the capability to avoid sharing data directly, thereby reducing privacy leakage. However, the traditional FL framework heavily relies on a single central server and may fall apart if such a server behaves maliciously. To address this single point of failure issue, this work investigates a blockchain assisted decentralized FL (BLADE-FL) framework, which can well prevent the malicious clients from poisoning the learning process, and further provides a self-motivated and reliable learning environment for clients. In detail, the model aggregation process is fully decentralized and the tasks of training for FL and mining for blockchain are integrated into each participant. In addition, we investigate the unique issues in this framework and provide analytical and experimental results to shed light on possible solutions.

研究动机与目标

• 解决传统联邦学习（FL）系统中对单一可信中心服务器的依赖及其单点故障问题。
• 通过利用区块链的不可篡改性和可审计性，缓解隐私风险并防止模型投毒攻击。
• 设计一种自我激励的去中心化学习环境，通过整合训练与挖矿任务，激励客户端诚实行事。
• 研究并解决 BLADE-FL 框架中的关键挑战，包括本地差分隐私、资源分配以及懒惰客户端的检测。
• 通过分析与实验验证该框架在多种数据集上的鲁棒性、性能与可扩展性。

提出的方法

• 使用无许可区块链实现模型聚合的去中心化，以分布式共识机制替代中心化聚合器。
• 将客户端训练与区块链挖矿整合为单一任务，使参与者可通过同时贡献学习与共识获得奖励。
• 通过向模型更新中注入高斯噪声实施本地差分隐私，并采用自适应噪声衰减策略，在隐私约束下提升准确性。
• 通过调节本地训练轮数与通信轮数之比（θ）优化资源分配，识别最小化训练损失的最优配置。
• 采用伪随机噪声（PN）序列检测机制，利用互相关与信噪比（SNR）阈值识别并减轻懒惰客户端的影响。
• 利用区块链的不可篡改账本记录模型更新与挖矿活动，实现可追溯性、责任追究，并抵抗篡改。

实验结果

研究问题

• RQ1 如何设计一个去中心化的联邦学习框架，以消除对单一可信中心服务器的依赖？
• RQ2 在去中心化联邦学习系统中，可采用何种机制检测并减轻懒惰或非响应客户端的影响？
• RQ3 当向模型更新中添加噪声时，本地差分隐私如何影响模型准确性？自适应噪声调度能否提升性能？
• RQ4 在不同数据集中，最小化训练损失的最优本地训练努力与通信轮数之比（θ）为何值？
• RQ5 在对抗性条件下，将区块链挖矿与联邦学习训练相结合，如何影响系统的韧性、安全性和性能？

主要发现

• 当 PN 序列的信噪比（SNR）为 3 dB 时，BLADE-FL 框架对懒惰客户端的检测准确率接近 100%；在 6 dB 时，Fashion-MNIST 和 Cifar-10 的检测率分别为 98.9% 和 97.5%。
• 自适应噪声衰减方法在相同隐私预算（ε）下提升了学习性能，其测试准确率高于恒定噪声注入方法。
• 对于 Fashion-MNIST 数据集，最优配置在 14 次通信轮次、每轮 15 次本地训练（θ = 1）时实现最低训练损失。
• 当存在 30% 懒惰客户端时，系统性能分别下降 22.1%（Fashion-MNIST）和 19.6%（Cifar-10），但基于 PN 的检测方法分别恢复了 18% 和 13.8% 的性能损失。
• 更大的隐私预算（ε）带来更高的模型准确率，证实较弱的隐私保护可实现更好的学习效果。
• 该框架在多种数据集上表现出良好的鲁棒性与可扩展性，且在通信轮数、本地训练努力与收敛性能之间存在清晰的权衡关系。