[论文解读] BAFFLE : Blockchain Based Aggregator Free Federated Learning

Paritosh Ramanan, Kiyoshi Nakayama|arXiv (Cornell University)|Sep 16, 2019

Privacy-Preserving Technologies in Data参考文献 26被引用 23

一句话总结

BAFFLE 提出了一种基于区块链的、无需聚合器的联邦学习框架，利用智能合约实现模型聚合与轮次协调的去中心化。通过将全局模型参数划分为多个片段，并采用评分与竞价机制，BAFFLE 将 gas 成本降低了 50% 以上，且在准确率上与集中式联邦学习（FL）相当，从而为小型组织在私有或公共区块链上实现可扩展、低成本的联邦学习提供了可能。

ABSTRACT

A key aspect of Federated Learning (FL) is the requirement of a centralized aggregator to maintain and update the global model. However, in many cases orchestrating a centralized aggregator might be infeasible due to numerous operational constraints. In this paper, we introduce BAFFLE, an aggregator free, blockchain driven, FL environment that is inherently decentralized. BAFFLE leverages Smart Contracts (SC) to coordinate the round delineation, model aggregation and update tasks in FL. BAFFLE boosts computational performance by decomposing the global parameter space into distinct chunks followed by a score and bid strategy. In order to characterize the performance of BAFFLE, we conduct experiments on a private Ethereum network and use the centralized and aggregator driven methods as our benchmark. We show that BAFFLE significantly reduces the gas costs for FL on the blockchain as compared to a direct adaptation of the aggregator based method. Our results also show that BAFFLE achieves high scalability and computational efficiency while delivering similar accuracy as the benchmark methods.

研究动机与目标

• 为解决集中式聚合器在联邦学习（FL）中固有的操作与可扩展性限制，特别是对小型组织而言。
• 消除集中式聚合器模型中固有的单点故障和信任依赖。
• 设计一种计算高效、去中心化的联邦学习框架，兼容区块链的约束条件，如交易大小与 gas 成本。
• 使微型企业在无需云基础设施或专业技术能力的情况下，协作训练出稳健的全局模型。
• 证明无聚合器的联邦学习可达到与经典联邦学习相当的性能，同时显著降低费用。

提出的方法

• BAFFLE 利用以太坊智能合约（SCs）管理全局模型状态、轮次划分与用户选择，无需中心化协调者。
• 该框架将全局模型划分为离散的参数片段，以实现在区块链上的并行与独立更新。
• 采用评分与竞价策略，基于性能指标选择高质量的本地模型更新，从而最小化冗余交易与 gas 使用。
• 轮次边界由用户报告的计算状态动态确定，确保一致性和公平性。
• 仅对得分最高的片段推送序列化后的模型更新至区块链，从而减少交易量。
• 系统在私有以太坊网络上实现，使用 Solidity 智能合约，通过在共享出行场景中使用深度强化学习模型进行真实世界验证。

实验结果

研究问题

• RQ1 能否在不依赖中心化聚合器的情况下构建一个完全去中心化的联邦学习系统，同时保持模型准确率？
• RQ2 在去中心化联邦学习环境中，如何有效缓解区块链约束（如 gas 成本与交易大小）？
• RQ3 参与者的参与程度对无聚合器联邦学习系统中的收敛速度、gas 成本与模型质量有何影响？
• RQ4 基于智能合约的方法能否实现与经典集中式聚合联邦学习相当的性能？
• RQ5 评分与竞价机制如何提升效率并减少去中心化模型聚合中的冗余更新？

主要发现

• 即使在低参与度下，BAFFLE 的 gas 成本也比随机选择的去中心化联邦学习基线（RandomDFL）降低超过 50%。
• 在 5% 的参与度下，BAFFLE 的收敛速度与 RandomDFL 相当，但 gas 成本和推送时间显著更低。
• BAFFLE 中的模型质量与经典集中式联邦学习高度一致，证明无聚合器联邦学习可保持高准确率。
• 评分与竞价机制有效消除了冗余更新，减少了交易冲突，提升了计算效率。
• BAFFLE 使微型组织能够在无需云基础设施或专业技能的情况下，在私有或公共区块链上部署联邦学习。
• 在真实世界的共享出行案例研究中，与非联邦学习方法相比，BAFFLE 使司机收入提高了约 40%，验证了其实际影响力。