[論文レビュー] Heterogeneity-Aware Federated Learning.

Chenxu Yang, QiPeng Wang+4 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

本論文は、デバイスレベルの異種性—例えば、異なるハードウェアやユーザー行動—がFLパフォーマンスに与える影響を体系的・系統的に調査できる、初めての異種性に配慮したフェデレーテッドラーニング（FL）プラットフォームであるFLASHを提案する。136,000人のユーザーからの実世界トレースを用いて、異種性がFLパフォーマンスを顕著に低下させ、一般的な最適化手法を無効にすることを示し、個別に最適化されたシステム構成の必要性を示している。

ABSTRACT

Federated learning (FL) is an emerging distributed machine learning paradigm that stands out with its inherent privacy-preserving advantages. Heterogeneity is one of the core challenges in FL, which resides in the diverse user behaviors and hardware capacity across devices who participate in the training. Heterogeneity inherently exerts a huge influence on the FL training process, e.g., causing device unavailability. However, existing FL literature usually ignores the impacts of heterogeneity. To fill in the knowledge gap, we build FLASH, the first heterogeneity-aware FL platform. Based on FLASH and a large-scale user trace from 136k real-world users, we demonstrate the usefulness of FLASH in anatomizing the impacts of heterogeneity in FL by exploring three previously unaddressed research questions: whether and how can heterogeneity affect FL performance; how to configure a heterogeneity-aware FL system; and what are heterogeneity's impacts on existing FL optimizations. It shows that heterogeneity causes nontrivial performance degradation in FL from various aspects, and even invalidates some typical FL optimizations.

研究の動機と目的

• フェデレーテッドラーニング（FL）研究における、多様なハードウェアやユーザー行動を含むデバイスの異種性の影響に関する重要なギャップを埋める。
• 異種性がFL学習パフォーマンスに与える影響、特にデバイスの利用不可や収束の劣化を調査する。
• 異種性に配慮したFLシステムの構成方法を検討し、より高い耐障害性と効率性を実現する。
• 既存のFL最適化技術が異種性条件下でどのように影響を受けるかを評価し、標準的手法が無効になる可能性を明らかにする。

提案手法

• 実世界のデバイスの異種性を模擬・分析できる、新規の異種性に配慮したFLプラットフォームであるFLASHを構築した。
• 136,000人の実ユーザーからの大規模なユーザートレースを収集・分析し、現実的なデバイス行動とハードウェアの多様性をモデル化した。
• 異なるデバイスの可用性、計算能力、通信帯域幅を反映するように、FLASH内でのシステムレベルの構成を設計した。
• 標準的なFL最適化手法（例：FedAvg、パーソナライズドFL）を異種性環境下で評価し、その耐障害性を検証した。
• トレース駆動シミュレーションを用いて、複数のメトリクスにわたる異種性によるパフォーマンス劣化を分離・測定した。
• トレーニングパイプラインに制御された異種性を組み込むことで、研究課題の体系的探索を可能にした。

実験結果

リサーチクエスチョン

• RQ1 実世界の環境において、デバイスの異種性はフェデレーテッドラーニングパフォーマンスをどの程度劣化させるか？
• RQ2 デバイス行動およびハードウェアの異種性に対して耐性を持つフェデレーテッドラーニングシステムは、どのように構成すべきか？
• RQ3 既存のFL最適化手法は異種性条件下でどのように動作するのか？ また、それらは有効なままであるのか？

主な発見

• 異種性は収束速度やモデル精度といった複数の次元で、フェデレーテッドラーニングのパフォーマンスに顕著な劣化を引き起こす。
• 異種性に起因するデバイスの利用不可が、学習プロセスを著しく妨げ、収束までの時間が著しく延長される。
• 実際の異種性環境下では、標準的なFL最適化手法（例：FedAvg）が無効または非効率的になる。
• 異種性は、多くの既存のFLアルゴリズムの前提をくつがえし、実際の運用では理論的保証が無効化される。
• 安定的かつ効率的なFL学習を達成するためには、デバイスの多様性を明示的に考慮したシステム構成のチューニングが必要である。
• 異種性の影響は一様ではなく、デバイス能力の分布やユーザー活動パターンに依存して変動する。