[論文レビュー] FedCCEA : A Practical Approach of Client Contribution Evaluation for Federated Learning

Sung Kuk Shyn, Dong-Hee Kim+1 more|arXiv (Cornell University)|Jun 4, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用数 12

ひとこと要約

FedCCEA は、生データへの直接アクセスを回避する実用的なフェデレーテッドラーニングにおけるクライアント貢献評価手法を提案する。この手法は、ローカル重みとデータサイズのみを用いてクライアントの重要性を推定する。サンプリングされたデータサイズを用いて精度近似モデル（AAM）を訓練することで、非IIDデータや部分的参加下でも、計算コストが低く、スケーラブルかつ正確な貢献順序付けを実現する。シャープレー値やLOOベースラインと比較して、一貫性と耐性の面で優れている。

ABSTRACT

Client contribution evaluation, also known as data valuation, is a crucial approach in federated learning(FL) for client selection and incentive allocation. However, due to restrictions of accessibility of raw data, only limited information such as local weights and local data size of each client is open for quantifying the client contribution. Using data size from available information, we introduce an empirical evaluation method called Federated Client Contribution Evaluation through Accuracy Approximation(FedCCEA). This method builds the Accuracy Approximation Model(AAM), which estimates a simulated test accuracy using inputs of sampled data size and extracts the clients' data quality and data size to measure client contribution. FedCCEA strengthens some advantages: (1) enablement of data size selection to the clients, (2) feasible evaluation time regardless of the number of clients, and (3) precise estimation in non-IID settings. We demonstrate the superiority of FedCCEA compared to previous methods through several experiments: client contribution distribution, client removal, and robustness test to partial participation.

研究の動機と目的

• 生データへのアクセスなしにフェデレーテッドラーニングにおけるクライアント貢献を評価する課題に対処すること。
• クライアントが参加に際して自身のデータサイズを自由に選択しつつも、正確な貢献推定を維持できること。
• 多様なデータ分布設定においても高い正確性を維持する、スケーラブルで効率的な手法の開発。
• 計算コストの高い手法（例：シャープレー値）に代わる信頼性の高い実用的代替手段を提供することで、クライアント選定とインcentive割り当てを改善すること。

提案手法

• FedCCEA は、サンプリングされたデータサイズとローカルモデル重みに基づいてテスト精度を予測する精度近似モデル（AAM）を導入する。
• AAM は、各クライアントのデータサブセットを用いて訓練され、クライアントのデータ品質とサイズ貢献度を推定する。
• クライアント貢献は、さまざまなデータサイズにおけるテスト精度のシミュレーションを通じて評価され、完全なデータアクセスなしで推定可能である。
• 本手法は、クライアントが各ラウンドで異なるデータサイズを選択できる部分的参加をサポートし、あらゆる設定で一貫した評価を実現する。
• ゲーム理論的手法（例：シャープレー値）に代わって、軽量で経験的近似フレームワークを採用することで、指数的計算量を回避する。
• 本手法は、非IIDおよびノイズの多いデータ環境でも耐性を発揮するように設計されており、データの不均一性やラベル汚染下でも正確性を維持する。

実験結果

リサーチクエスチョン

• RQ1 生データへのアクセスなしにフェデレーテッドラーニングにおけるクライアント貢献を正確に推定できるか？
• RQ2 本手法は非IIDデータ分布およびラベルノイズ下でも性能を発揮するか？
• RQ3 クライアント数の増加や異なるデータサイズに対し、本手法は効率的にスケーリングできるか？
• RQ4 シャープレー値やLOOと比較して、本手法は一貫性と耐性の面で優れているか？
• RQ5 クライアントが部分的なデータで参加する場合でも、本手法は正確なクライアント順位付けを維持できるか？

主な発見

• FedCCEA は、貢献度が最も低いとランク付けされたクライアントを削除しても高いテスト精度を維持しており、一貫性があり正確な貢献推定を示している。
• 貢献度が最も高いとランク付けされたクライアントを削除すると、本手法は顕著な性能低下を示しており、高影響力クライアントの正確な同定を確認している。
• TMC-SV や LOO とは異なり、FedCCEA は高貢献・低貢献クライアントの性能逆転を示さないため、より信頼性の高い評価が可能である。
• 部分的参加環境下でも、IIDおよび強い非IID環境の両方で一貫した性能を維持しており、ベースラインを上回る安定性を示している。
• シャープレー値が指数的複雑性に苦しむのとは異なり、クライアント数にかかわらず実行可能な評価時間を達成している。
• FedCCEA はデータサイズ選択を明示的に扱っており、クライアントが各ラウンドで異なる量のデータを使用しても、正確な貢献順位付けが可能である。