[論文レビュー] FedProf: Optimizing Federated Learning with Dynamic Data Profiling.

Wentai Wu, Ligang He+4 more|arXiv (Cornell University)|Feb 2, 2021

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

FedProfは、最初の全結合層（FC-1）の出力分布から得られるモデル-データフットプリントを用いた動的データプロファイリングにより、低品質なデータを有するクライアントを特定・低重み化することで、プライバシーを守りながらフェデレーテッドラーニングを実現するフレームワークを提案する。フットプリントマッチングに基づく動的調整により、収束ラウンドを最大75%削減し、トレーニング時間を最大68%短縮するとともに、グローバルモデルの精度を最大2.5%向上させる。

ABSTRACT

Federated Learning (FL) has shown great potential as a privacy-preserving solution to learning from decentralized data which are only accessible locally on end devices (i.e., clients). In many scenarios, however, a large proportion of the clients are probably in possession of only low-quality data that are biased, noisy or even irrelevant. As a result, they could significantly degrade the quality of the global model we aim to build and slow down its convergence in the course of FL. In light of this, we propose a novel approach to optimizing FL under such circumstances without breaching data privacy. The key of our approach is a dynamic data profiling method for generating model-data footprints on each client and the server. The footprint encodes the representation of the global model on the corresponding data partition based on the output distribution of the model's first fully-connected layer (FC-1). By matching the footprints from clients and the server, we adaptively adjust each client's opportunity of participation in each FL round to mitigate the impact from the clients with low-quality data. We have conducted extensive experiments on public data sets using various FL settings. Results show that our method significantly reduces the number of rounds (by up to 75\%) and overall time (by up to 68\%) required to have the global model converge whiling increasing the global model's accuracy by up to 2.5\%.

研究の動機と目的

• フェデレーテッドラーニングにおけるクライアントからの低品質・ノイジー・バイアスのかかったデータがモデル性能を低下させ、収束を遅らせるという課題に対処すること。
• 生データを暴露せずに低品質なクライアントを特定するプライバシー保護型手法を開発すること。
• データ品質に基づいてクライアント参加を動的に調整することで、フェデレーテッドラーニングにおける収束速度とグローバルモデルの精度を向上させること。
• モデル活性化から得られるモデル-データフットプリントを用いて、動的かつリアルタイムのクライアント優先順位付けを可能にすること。

提案手法

• クライアントは、グローバルモデルの最初の全結合層（FC-1）の出力分布を、自らのローカルデータ上で分析することで、モデル-データフットプリントを生成する。
• サーバーはクライアントのフットプリントを集約し、自らのフットプリントと照合することで、データ品質と整合性を評価する。
• 一致しない、または不安定なフットプリントを示すクライアント（低品質なデータを示唆）は、その後のフェデレーテッドラーニングラウンドにおいて低い参加確率が割り当てられる。
• 参加確率は、各ラウンドごとにフットプリント類似度に基づいて動的に調整され、生データを共有せずに低品質なデータの影響を低減する。
• この手法はフェデレーテッドラーニングフレームワーク内でのみ動作し、データプライバシーを保ちながら品質認識型のクライアント選択を可能にする。
• データ品質の代理指標としてフットプリントマッチングが用いられ、直接的なデータ送信やラベルの共有を回避する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるクライアントからの低品質なデータを、データプライバシーを損なわずどのように検出できるか？
• RQ2 データ品質に基づく動的クライアント参加が、フェデレーテッドラーニングにおける収束速度とモデル精度をどの程度向上できるか？
• RQ3 最初の全結合層からのモデル活性化は、分散型学習におけるデータ品質の信頼できる代理指標として機能できるか？
• RQ4 フットプリントマッチングによる適応的クライアント選択は、フェデレーテッドラーニングにおいて均一的またはランダムなクライアント参加と比較してどのように異なるか？
• RQ5 データ品質認識型クライアント重み付けが、多様なフェデレーテッドラーニング設定におけるトレーニング時間とモデル収束に与える影響は何か？

主な発見

• FedProfは、ベースライン手法と比較して、収束に必要なフェデレーテッドラーニングラウンド数を最大75%削減した。
• 複数の公開データセットおよびフェデレーテッドラーニング設定において、全体のトレーニング時間を最大68%短縮した。
• 低品質なデータソースの影響が減少したことで、グローバルモデルの精度が最大2.5%向上した。
• 生データにアクセスせずに、フットプリントベースのマッチングにより、低品質なデータを有するクライアントが効果的に特定され、低重み化された。
• クライアント参加の動的調整により、モデル一般化性能を損なわず、収束が迅速化した。
• 生データやラベルをフットプリント計算やマッチング中に共有しないため、強固なプライバシー保証を維持した。