[论文解读] An Exploratory Analysis on Users' Contributions in Federated Learning

Jiyue Huang, Rania Talbi+4 more|arXiv (Cornell University)|Nov 13, 2020

Privacy-Preserving Technologies in Data参考文献 43被引用 4

一句话总结

本文探讨了联邦学习中的激励机制，以检测和缓解恶意用户贡献，特别是通过标签翻转攻击。评估了三种贡献度量方法——Shapley值、Influence函数和声誉机制——表明在计算效率与识别低质量更新的有效性之间存在权衡，其中Shapley值在对抗性条件下与理论预期的对齐程度最强。

ABSTRACT

Federated Learning is an emerging distributed collaborative learning paradigm adopted by many of today's applications, e.g., keyboard prediction and object recognition. Its core principle is to learn from large amount of users data while preserving data privacy by design as collaborative users only need to share the machine learning models and keep data locally. The main challenge for such systems is to provide incentives to users to contribute high-quality models trained from their local data. In this paper, we aim to answer how well incentives recognize (in)accurate local models from honest and malicious users, and perceive their impacts on the model accuracy of federated learning systems. We first present a thorough survey on two contrasting perspectives: incentive mechanisms to measure the contribution of local models by honest users, and malicious users to deliberately degrade the overall model. We conduct simulation experiments to empirically demonstrate if existing contribution measurement schemes can disclose low-quality models from malicious users. Our results show there exists a clear tradeoff among measurement schemes in terms of the computational efficiency and effectiveness to distill the impact of malicious participants. We conclude this paper by discussing the research directions to design resilient contribution incentives.

研究动机与目标

• 分析联邦学习中的激励机制如何识别诚实用户的贡献与破坏模型质量的恶意用户贡献。
• 研究对抗性行为（特别是标签翻转攻击）对模型准确率和贡献度量可靠性的影响。
• 评估现有贡献度量方案（Shapley值、Influence函数、声誉机制）在检测恶意参与者低质量模型更新方面的能力。
• 识别在检测免费搭车行为及其他不以模型质量为目标的攻击方面存在的研究空白，这些攻击会利用激励机制。
• 提出未来研究方向，以设计具备攻击感知能力、具备韧性的联邦学习系统激励机制。

提出的方法

• 开展两项对比视角的调研：面向诚实贡献者的激励机制，以及降低模型性能的对抗性行为。
• 通过使用联邦学习训练的深度图像分类器进行仿真实验，评估标签翻转攻击对模型准确率的影响。
• 应用三种贡献度量技术——Shapley值、Influence函数和基于声誉的评分——以评估模型更新质量。
• 测量每个用户更新对损失的边际贡献，以评估各类指标检测恶意参与者的能力。
• 使用安全聚合技术整合模型更新，而无需暴露原始数据，在保护隐私的同时支持集中式评估。
• 在不同攻击强度（翻转水平）下比较各类指标，以评估其鲁棒性与计算成本。

实验结果

研究问题

• RQ1 现有贡献度量方案在联邦学习中检测恶意用户低质量模型更新方面表现如何？
• RQ2 在对抗性条件下，激励机制中计算效率与检测有效性之间存在何种权衡？
• RQ3 不同攻击策略（如标签翻转和免费搭车）如何影响联邦学习中贡献度量的可靠性？
• RQ4 Shapley值、Influence函数和声誉机制在识别恶意贡献方面与理论预期的对齐程度如何？
• RQ5 是否存在针对激励机制的新攻击向量，以及如何检测或缓解这些攻击？

主要发现

• 在贡献度量方案中，计算效率与检测有效性之间存在明确权衡，Shapley值尽管成本较高，但提供了最准确的检测。
• 在不同标签翻转水平下，Shapley值在检测恶意用户方面优于Influence函数和声誉机制，展现出最强的理论一致性。
• 标签翻转攻击显著降低模型准确率，且可能逃避较不复杂的度量方法的检测，尤其是声誉机制和Influence函数。
• 免费搭车攻击（用户提交无实际训练的虚假更新）目前仍基本未被探索，但对激励机制的公平性构成重大威胁。
• 现有度量方法难以在攻击强度适中时区分低质量诚实更新与恶意更新。
• 基于区块链的贡献记录机制可提升可追溯性，并通过可验证的参数记录实现恶意用户的检测。