[论文解读] FedCCEA : A Practical Approach of Client Contribution Evaluation for Federated Learning

Sung Kuk Shyn, Dong-Hee Kim+1 more|arXiv (Cornell University)|Jun 4, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用 12

一句话总结

FedCCEA 提出了一种实用的联邦学习客户端贡献评估方法，仅通过本地模型权重和数据规模来估计客户端重要性，避免了对原始数据的直接访问。通过在采样的数据规模上训练准确率近似模型（AAM），该方法实现了高效、可扩展且精确的贡献排序——即使在非独立同分布（non-IID）数据和部分客户端参与的情况下也表现优异，其在一致性与鲁棒性方面优于 Shapley Value 和 LOO 基线方法。

ABSTRACT

Client contribution evaluation, also known as data valuation, is a crucial approach in federated learning(FL) for client selection and incentive allocation. However, due to restrictions of accessibility of raw data, only limited information such as local weights and local data size of each client is open for quantifying the client contribution. Using data size from available information, we introduce an empirical evaluation method called Federated Client Contribution Evaluation through Accuracy Approximation(FedCCEA). This method builds the Accuracy Approximation Model(AAM), which estimates a simulated test accuracy using inputs of sampled data size and extracts the clients' data quality and data size to measure client contribution. FedCCEA strengthens some advantages: (1) enablement of data size selection to the clients, (2) feasible evaluation time regardless of the number of clients, and (3) precise estimation in non-IID settings. We demonstrate the superiority of FedCCEA compared to previous methods through several experiments: client contribution distribution, client removal, and robustness test to partial participation.

研究动机与目标

• 解决在不访问原始数据的情况下评估联邦学习中客户端贡献的挑战。
• 使客户端能够自主选择参与的数据规模，同时保持准确的贡献估计。
• 开发一种可扩展且高效的评估方法，在多样化数据分布设置下仍保持高精度。
• 通过提供一种可靠且实用的替代方案，改善客户端选择与激励分配，替代计算成本高昂的 Shapley Value 等方法。

提出的方法

• FedCCEA 引入了一种准确率近似模型（AAM），基于采样的数据规模和本地模型权重预测测试准确率。
• 通过从每个客户端采样的数据子集训练 AAM，以估计客户端的数据质量与数据规模贡献。
• 通过在不同数据规模下模拟测试准确率来评估客户端贡献，实现在无需完整数据访问情况下的贡献估计。
• 该方法支持部分参与，允许客户端在每轮中选择不同的数据规模，同时在所有此类配置下保持一致的评估结果。
• 通过用轻量级、基于经验的近似框架替代博弈论方法（如 Shapley Value），避免了指数级计算复杂度。
• 该方法在非独立同分布和噪声数据环境下具有鲁棒性，即使在数据异构性和标签污染条件下也能保持精度。

实验结果

研究问题

• RQ1 是否可以在不访问原始数据的情况下，在联邦学习中准确估计客户端贡献？
• RQ2 该方法在非独立同分布数据分布和标签噪声条件下的表现如何？
• RQ3 该方法在客户端数量增加和数据规模变化时是否能实现高效扩展？
• RQ4 与 Shapley Value 和 LOO 相比，该方法在一致性和鲁棒性方面表现如何？
• RQ5 当客户端以部分数据参与时，该方法是否仍能保持准确的客户端排序？

主要发现

• 在移除贡献最低的客户端时，FedCCEA 仍能保持较高的测试准确率，表明其贡献估计具有一致性和正确性。
• 在移除贡献最高的客户端时，该方法表现出显著的性能下降，证实其能准确识别出高影响力客户端。
• 与 TMC-SV 和 LOO 不同，FedCCEA 在高贡献与低贡献客户端之间未出现性能反转现象，表明其评估更具可靠性。
• 在部分参与设置下，FedCCEA 在 IID 和强非独立同分布环境下均保持一致的性能表现，稳定性优于基线方法。
• 无论客户端数量多少，该方法均能实现可行的评估时间，而 Shapley Value 因指数级复杂度导致性能急剧下降。
• FedCCEA 显式考虑了数据规模的选择，即使客户端每轮使用不同数量的数据，也能实现准确的贡献排序。