[论文解读] A Principled Approach to Data Valuation for Federated Learning

Tianhao Wang, Johannes Rausch+3 more|arXiv (Cornell University)|Sep 14, 2020

Privacy-Preserving Technologies in Data参考文献 24被引用 16

一句话总结

本文提出了联邦谢泼利值（federated Shapley value），一种通信高效、顺序感知的谢泼利值变体，专为联邦学习设计。它通过利用本地模型更新计算贡献值，无需额外通信，实现了公平的数据价值评估，在检测后门、识别噪声标签以及高效训练的数据总结方面优于基线方法。

ABSTRACT

Federated learning (FL) is a popular technique to train machine learning (ML) models on decentralized data sources. In order to sustain long-term participation of data owners, it is important to fairly appraise each data source and compensate data owners for their contribution to the training process. The Shapley value (SV) defines a unique payoff scheme that satisfies many desiderata for a data value notion. It has been increasingly used for valuing training data in centralized learning. However, computing the SV requires exhaustively evaluating the model performance on every subset of data sources, which incurs prohibitive communication cost in the federated setting. Besides, the canonical SV ignores the order of data sources during training, which conflicts with the sequential nature of FL. This paper proposes a variant of the SV amenable to FL, which we call the federated Shapley value. The federated SV preserves the desirable properties of the canonical SV while it can be calculated without incurring extra communication cost and is also able to capture the effect of participation order on data value. We conduct a thorough empirical study of the federated SV on a range of tasks, including noisy label detection, adversarial participant detection, and data summarization on different benchmark datasets, and demonstrate that it can reflect the real utility of data sources for FL and has the potential to enhance system robustness, security, and efficiency. We also report and analyze "failure cases" and hope to stimulate future research.

研究动机与目标

• 解决联邦学习中缺乏一种兼顾参与顺序、通信高效的原理性数据价值评估方法的问题。
• 将以公平性和理想公理性质著称的谢泼利值适配到联邦学习的去中心化、顺序性特性中。
• 在不增加标准训练之外的通信成本的前提下，实现联邦学习中实用的数据价值评估。
• 评估联邦谢泼利值在真实任务（如后门检测、噪声标签识别、数据总结）中的实用性。
• 识别其局限性和失败案例，以指导未来在联邦学习数据价值评估方面的研究。

提出的方法

• 提出联邦谢泼利值作为标准谢泼利值的变体，尊重联邦学习中参与者贡献的顺序性。
• 利用每轮训练中各参与方的本地模型更新计算联邦谢泼利值，通过复用已有训练信号避免额外通信。
• 采用蒙特卡洛近似方法高效估算联邦谢泼利值，显著降低大规模联邦学习场景下的计算成本。
• 利用全局模型在每个参与者更新后的性能提升来估计其在参与顺序中的边际贡献。
• 应用归一化技术以提升在非独立同分布（non-IID）设置下数据价值分布不均时的鲁棒性。
• 使用真实基准数据集（MNIST、CIFAR-10）在多种任务中进行验证，采用受控的数据投毒和选择策略。

实验结果

研究问题

• RQ1 能否为联邦学习设计一种尊重数据贡献顺序的原理性数据价值评估方法？
• RQ2 能否在不增加额外通信成本的前提下将谢泼利值适配到联邦学习中？
• RQ3 联邦谢泼利值在检测后门和噪声标签时，能否准确反映数据源的真实效用？
• RQ4 与随机选择或LOO基线相比，使用联邦谢泼利值进行数据总结是否能提升训练效率和模型准确率？
• RQ5 在非独立同分布或高度偏斜的数据设置下，联邦谢泼利值存在哪些局限性和失败案例？

主要发现

• 在非独立同分布（non-IID）设置下，联邦谢泼利值在后门检测中优于联邦LOO，归一化版本的成功率显著提升。
• 在MNIST（IID）数据集上，基于联邦谢泼利值的数据总结方法达到的测试准确率高于随机基线和LOO基线，证明其在模型效率方面的有效性。
• 在非独立同分布设置下，联邦谢泼利值对高频参与的参与者存在偏向，导致在低剔除率（low dismissal fractions）下性能低于LOO。
• 联邦谢泼利值在CIFAR-10上的表现劣于MNIST，可能是因为该数据集冗余度较低，关键参与方的损失影响更大。
• 在非独立同分布设置下，低选择频率的参与者更可能获得负的联邦谢泼利值，表明价值估计存在潜在偏差。
• 本研究识别出关键失败案例，如非独立同分布场景下的价值分布偏斜，并呼吁未来研究应关注鲁棒的归一化与估计技术。