[论文解读] 2CP: Decentralized Protocols to Transparently Evaluate Contributivity in Blockchain Federated Learning Environments

Harry Cai, Daniel Rueckert+1 more|arXiv (Cornell University)|Nov 15, 2020

Privacy-Preserving Technologies in Data参考文献 13被引用 10

一句话总结

本文提出2CP，一种基于以太坊智能合约的去中心化框架，用于在区块链集成的联邦学习中公平评估并奖励参与者的贡献。该框架引入了两种协议——Crowdsource与Consortium——通过分步评估机制，根据数据集大小和质量分配与之成比例的模型所有权份额，确保在缺乏中心化权威机构的情况下，实现公平、透明且无需信任的奖励分配。

ABSTRACT

Federated Learning harnesses data from multiple sources to build a single model. While the initial model might belong solely to the actor bringing it to the network for training, determining the ownership of the trained model resulting from Federated Learning remains an open question. In this paper we explore how Blockchains (in particular Ethereum) can be used to determine the evolving ownership of a model trained with Federated Learning. Firstly, we use the step-by-step evaluation metric to assess the relative contributivities of participants in a Federated Learning process. Next, we introduce 2CP, a framework comprising two novel protocols for Blockchained Federated Learning, which both reward contributors with shares in the final model based on their relative contributivity. The Crowdsource Protocol allows an actor to bring a model forward for training, and use their own data to evaluate the contributions made to it. Potential trainers are guaranteed a fair share of the resulting model, even in a trustless setting. The Consortium Protocol gives trainers the same guarantee even when no party owns the initial model and no evaluator is available. We conduct experiments with the MNIST dataset that reveal sound contributivity scores resulting from both Protocols by rewarding larger datasets with greater shares in the model. Our experiments also showed the necessity to pair 2CP with a robust model aggregation mechanism to discard low quality inputs coming from model poisoning attacks.

研究动机与目标

• 解决在无法中心化信任或验证数据贡献者的情况下，联邦学习中公平分配模型所有权的挑战。
• 设计一种去中心化、无需信任的协议，根据数据实际贡献度公平奖励参与者。
• 将区块链技术（特别是以太坊）与联邦学习相结合，实现可验证、透明且自动化的奖励分发。
• 评估在模型投毒攻击和数据质量变化下，贡献度评分机制的鲁棒性。
• 开发一种支持联邦学习中众包与联盟两种场景的框架，且无需中心协调者。

提出的方法

• 本文引入分步评估作为贡献度度量指标，用于衡量每个参与者对模型性能的相对贡献。
• Crowdsource协议使模型所有者能够启动训练，并使用其自身数据评估贡献，确保在无信任环境下的公平奖励分配。
• Consortium协议支持无模型所有者或评估者的去中心化训练，通过基于区块链的智能合约，根据贡献度实现公平的份额分配。
• 两种协议均使用以太坊智能合约，根据计算出的贡献度评分强制执行奖励分配，确保透明性和不可篡改性。
• 该框架依赖于保留测试集，在每轮训练后评估模型性能，从而实现动态的贡献度评分。
• 系统设计与稳健聚合机制配对，以抵抗模型投毒攻击，实验验证已证明其有效性。

实验结果

研究问题

• RQ1 在不泄露私有数据的前提下，如何在去中心化的联邦学习环境中公平且透明地衡量贡献度？
• RQ2 能否使用基于区块链的智能合约，自动化并强制执行基于数据贡献度的联邦学习奖励分配？
• RQ3 Crowdsource与Consortium协议在公平性及对数据质量变化的鲁棒性方面有何差异？
• RQ4 在模型投毒攻击下，贡献度评分机制存在哪些漏洞，如何加以缓解？
• RQ5 数据集大小与质量在2CP框架中对最终奖励分配的影响程度如何？

主要发现

• Crowdsource协议在MNIST数据集上生成了可靠的贡献度评分，数据集越大，获得的奖励比例越高。
• Consortium协议正确奖励了大容量数据集，但对轻微污染数据（0.2 < p < 0.3）的客户端存在高估现象，表明其对非针对性模型投毒存在漏洞。
• 标签翻转率较高（p > 0.5）的客户端奖励降为零，而中等程度污染（p ≈ 0.25）则导致奖励被高估，提示存在类似Sybil攻击的向量。
• Consortium协议的早期训练轮次中，代币份额与Crowdsource协议结果一致，支持了污染客户端将模型引导至次优局部最小值的假设。
• 结果强调，必须将2CP与稳健的聚合机制配对，以过滤恶意或低质量的模型更新。
• 该框架表明，在诚实或半诚实参与下，基于贡献度的奖励分配是可行且公平的，但若缺乏额外验证，仍易受恶意行为影响。