[论文解读] FedCoin: A Peer-to-Peer Payment System for Federated Learning

Yuan Liu, Shuai Sun+4 more|arXiv (Cornell University)|Feb 26, 2020

Privacy-Preserving Technologies in Data参考文献 17被引用 22

一句话总结

FedCoin 提出了一种基于区块链的去中心化对等支付系统，专为联邦学习设计，采用一种新颖的谢泼德值证明（PoSap）共识协议，用于计算并分发谢泼德值（SVs）作为客户端的公平激励。通过利用分布式计算资源，在资源成本有界的前提下计算 SVs，FedCoin 实现了去中心化、防篡改且不可否认的激励分发，促进了高质量数据贡献，同时允许不拥有数据的实体参与。

ABSTRACT

Federated learning (FL) is an emerging collaborative machine learning method to train models on distributed datasets with privacy concerns. To properly incentivize data owners to contribute their efforts, Shapley Value (SV) is often adopted to fairly assess their contribution. However, the calculation of SV is time-consuming and computationally costly. In this paper, we propose FedCoin, a blockchain-based peer-to-peer payment system for FL to enable a feasible SV based profit distribution. In FedCoin, blockchain consensus entities calculate SVs and a new block is created based on the proof of Shapley (PoSap) protocol. It is in contrast to the popular BitCoin network where consensus entities "mine" new blocks by solving meaningless puzzles. Based on the computed SVs, a scheme for dividing the incentive payoffs among FL clients with nonrepudiation and tamper-resistance properties is proposed. Experimental results based on real-world data show that FedCoin can promote high-quality data from FL clients through accurately computing SVs with an upper bound on the computational resources required for reaching consensus. It opens opportunities for non-data owners to play a role in FL.

研究动机与目标

• 解决在联邦学习（FL）中为公平激励分发计算谢泼德值（SVs）所产生的高计算成本问题。
• 实现在无需依赖中心化服务器的前提下，对联邦学习客户端实现去中心化、无需信任且防篡改的激励分发。
• 动员联邦学习生态系统中闲置的计算资源，用于执行 SV 计算，从而促进不拥有数据的实体参与。
• 设计一种共识机制——证明的谢泼德（PoSap）——以基于 SV 的有意义计算替代传统的工作量证明。
• 确保共识的计算成本在矿工难度增加的情况下仍保持有界且可行。

提出的方法

• 提出证明的谢泼德（PoSap）共识协议，其中节点计算联邦学习客户端的谢泼德值（SVs），而非解决密码学难题。
• 每个共识节点独立使用基于分组采样的近似方法执行 SV 计算，以降低计算复杂度。
• 仅当一个节点通过 PoSap 协议成功计算并验证所有联邦学习客户端的 SVs 后，才会生成新区块。
• 支付记录以不可篡改且密码学安全的方式记录在区块链上，确保不可否认性并抵抗篡改。
• PoSap 中使用难度参数控制区块生成时间，计算成本在高难度下被上限控制在约 2,500 次 SV 计算迭代。
• 该框架使用 Docker 容器实现，支持在模拟环境中共识节点之间的独立通信与协调。

实验结果

研究问题

• RQ1 能否设计一种基于区块链的系统，在联邦学习中以有界计算成本计算谢泼德值（SVs）？
• RQ2 如何构建一种共识协议，使计算具有实际意义并促进激励公平性，而非像传统工作量证明那样造成资源浪费？
• RQ3 所提出的 PoSap 协议能否确保仅高质量数据贡献者获得正向激励，而低质量或有害数据贡献者被排除？
• RQ4 在矿工难度增加的情况下，系统的计算成本在多大程度上会增长？在现实条件下是否保持有界？
• RQ5 不拥有数据但具备计算能力的实体，能否通过此激励机制在联邦学习生态系统中做出有意义的贡献？

主要发现

• FedCoin 准确计算了联邦学习客户端的谢泼德值（SVs），结果显示仅来自数据类型 $T_0$ 至 $T_4$ 的客户端获得正向 SVs，表明其对模型准确率有积极贡献。
• 数据质量较低的客户端（如 $T_5$ 至 $T_9$）被分配负向 SVs，表明其会降低模型性能，因此被排除在激励之外。
• 在高难度条件下（$D < 10^{-3}$），FedCoin 的区块生成时间收敛至约 2,500 次谢泼德值计算迭代，证明了共识计算成本具有有界性和可行性。
• 系统成功促进了高质量数据贡献，表现为从 $T_0$ 到 $T_9$ 的数据质量线性下降（以地球移动距离衡量），与 SVs 的递减趋势一致。
• PoSap 协议确保仅通过验证的、有效的 SV 计算才能促成区块生成，从而维护系统完整性，并实现去中心化、无需信任的激励分发。
• 据作者所知，FedCoin 是首个将区块链技术与基于谢泼德值的激励机制整合于联邦学习的系统，使不拥有数据的计算贡献者得以参与。