[論文レビュー] A Real-time Contribution Measurement Method for Participants in Federated Learning

Boyi Liu, Bingjie Yan+5 more|arXiv (Cornell University)|Sep 8, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用数 6

ひとこと要約

本論文は、データ品質と数量への感受性を活用して、プライバシー保護型協働学習環境における動的でプライバシーに配慮した学習環境において、参加者の寄与度をリアルタイムでオンラインで評価する手法を提案する。この手法は、反応性と正確性においてシャープレー値を上回る。

ABSTRACT

In recent years, individuals, business organizations or the country have paid more and more attention to their data privacy. At the same time, with the rise of federated learning, federated learning is involved in more and more fields. However, there is no good evaluation standard for each agent participating in federated learning. This paper proposes an online evaluation method for federated learning and compares it with the results obtained by Shapley Value in game theory. The method proposed in this paper is more sensitive to data quality and quantity.

研究の動機と目的

• フェデレーテッドラーニングシステムにおける参加者貢献度の有効な評価基準の欠如に対処すること。
• フェデレーテッドトレーニングの後処理ではなく、トレーニング中におけるエージェント貢献度を動的かつオンラインで評価する手法を開発すること。
• 従来のゲーム理論的手法と比較して、参加者間でのデータ品質および数量の変動に対する感受性を向上させること。
• プライバシー保護型協働学習におけるリアルタイム貢献度測定のための実用的でスケーラブルなソリューションを提供すること。

提案手法

• フェデレーテッドラーニングラウンド中に参加者の貢献度を継続的に測定するオンライン評価フレームワークを提案する。
• 各クライアントごとのデータ品質および数量に基づいて動的に調整される貢献度メトリクスを設計する。
• リアルタイムでのモデル更新とパフォーマンスフィードバックを統合し、現在のクライアントの影響を反映する。
• 分散トレーニングにおける低オーバーヘッドを確保するため、軽量な計算モデルを採用する。
• 通信ラウンドごとに繰り返し更新される、実効的パフォーマンスゲインを貢献度の代理指標として使用する。
• 公平性と正確性のベンチマークとしてシャープレー値と本手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける参加者の貢献度は、トレーニング中リアルタイムにどのように評価できるか？
• RQ2 提案手法は、シャープレー値と比較して、データ品質および数量にどの程度感受性が高いか？
• RQ3 軽量でオンラインの貢献度測定手法は、完全な再計算を必要とせずに正確性を維持できるか？
• RQ4 動的クライアント参加環境下で、本手法はゲーム理論的ベースラインと比較してどの程度の性能を示すか？

主な発見

• 提案手法は、シャープレー値と比較して、データ品質および数量への感受性がより高いことが示された。
• 本手法は、トレーニング後の計算を必要とせず、リアルタイムでの貢献度測定を可能にした。
• 評価フレームワークは低コストの計算オーバーヘッドを維持しており、大規模フェデレーテッドラーニングに適している。
• トレーニングイテレーション中に、クライアント貢献度に対するより迅速なフィードバックを提供できた。
• データ品質に変動がある状況でも、実際のモデルパフォーマンスゲインとより整合性の高い結果が得られた。
• 時間とともにデータ分布が変化する動的環境下で、本手法はシャープレー値を上回った。