[論文レビュー] Characterizing Impacts of Heterogeneity in Federated Learning upon Large-Scale Smartphone Data

Chengxu Yang, Qipeng Wang+5 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data参考文献 65被引用数 10

ひとこと要約

本論文は、東南アジアおよびラテンアメリカにおける136,000台の実際のスマートフォンデバイスから収集したデータを用いて、フェデレーテッドラーニングにおけるハードウェアおよびステートの非均一性の影響を初めて大規模な実証的調査した。本研究では、非均一性に配慮したFLプラットフォームを提案し、非均一性が最大9.2%の精度低下と2.32倍の訓練時間延長を引き起こすことを実証した。主な要因として、デバイス障害と参加者バイアスが特定された。

ABSTRACT

Federated learning (FL) is an emerging, privacy-preserving machine learning paradigm, drawing tremendous attention in both academia and industry. A unique characteristic of FL is heterogeneity, which resides in the various hardware specifications and dynamic states across the participating devices. Theoretically, heterogeneity can exert a huge influence on the FL training process, e.g., causing a device unavailable for training or unable to upload its model updates. Unfortunately, these impacts have never been systematically studied and quantified in existing FL literature. In this paper, we carry out the first empirical study to characterize the impacts of heterogeneity in FL. We collect large-scale data from 136k smartphones that can faithfully reflect heterogeneity in real-world settings. We also build a heterogeneity-aware FL platform that complies with the standard FL protocol but with heterogeneity in consideration. Based on the data and the platform, we conduct extensive experiments to compare the performance of state-of-the-art FL algorithms under heterogeneity-aware and heterogeneity-unaware settings. Results show that heterogeneity causes non-trivial performance degradation in FL, including up to 9.2% accuracy drop, 2.32x lengthened training time, and undermined fairness. Furthermore, we analyze potential impact factors and find that device failure and participant bias are two potential factors for performance degradation. Our study provides insightful implications for FL practitioners. On the one hand, our findings suggest that FL algorithm designers consider necessary heterogeneity during the evaluation. On the other hand, our findings urge system providers to design specific mechanisms to mitigate the impacts of heterogeneity.

研究の動機と目的

• 大規模なスマートフォンデータを用いて、実世界におけるハードウェアおよびステート非均一性がフェデレーテッドラーニングに与える影響を体系的に特定すること。
• 従来のFL研究が一般的に理想的で均一なシミュレーションに依存しているのに対し、実証的検証が不足している問題を是正すること。
• 最新のFLアルゴリズムが非均一性に配慮した設定とそうでない設定の両方で評価され、性能低下の度合いを定量化すること。
• 実際のFL展開において、性能低下の主な要因であるデバイス障害や参加者バイアスを同定すること。
• 非均一性に起因する問題を軽減するための実用的知見を、FLアルゴリズム設計者およびシステム提供者に提供すること。

提案手法

• 東南アジアおよびラテンアメリカで実施したアプリ固有の測定キャンペーンを通じて、136,000台のスマートフォンから実際のデバイスステートトレース（CPU使用率、ネットワーク状態、バッテリー状態など）を収集した。
• 標準的なFLプロトコルに準拠したが、現実的なデバイス非均一性（ハードウェアおよび動的ステート）を組み込んだ、非均一性に配慮したFLプラットフォームを構築した。
• デバイスステートトレースとトレーニングデータ分布を分離することで、ベンチマークデータセットの多様性を保ちつつ、現実的な非均一性パターンを維持した。
• 非均一性に配慮した設定とそうでない設定の両方で、FLアルゴリズム（例：FedAvg、q-FedAvg）を比較する広範な実験を実施した。
• M-Typeデータセットを用いて分離設計の妥当性を検証し、非均一性の影響がデータ分布の偏りよりも顕著であることを確認した。
• 時間経過に伴うデバイスの利用可能性と障害率を分析し、収束性および公平性への影響を定量化した。

実験結果

リサーチクエスチョン

• RQ1 実際のスマートフォンにおけるハードウェアおよびステート非均一性は、フェデレーテッドラーニングの収束性と精度にどのように影響を与えるか？
• RQ2 既存の最先端FLアルゴリズムは、理想的なシミュレーションと比較して、現実の非均一性下でどの程度性能が低下するか？
• RQ3 性能低下の主な要因として、デバイス障害と参加者バイアスのどちらがより顕著な影響を及ぼすか？
• RQ4 デバイスステートトレースをデータ分布から分離することは、実験結果の一般化可能性にどのように影響するか？
• RQ5 観察された性能低下のパターンは、GoogleのFLシステムのような実際のFL展開環境でも検証可能か？

主な発見

• 実際のスマートフォンにおける非均一性は、理想的で均一な環境と比較して最大9.2%の精度低下を引き起こす。
• デバイス障害や参加の不一致により、トレーニング収束時間が最大2.32倍に延長され、FLプロセスが著しく遅延する。
• CPU使用率の変動やネットワークの不安定さといったステート非均一性が、ハードウェア差の単独の影響よりも、性能低下に顕著な影響を及ぼす。
• デバイス障害と参加者バイアスは、FLにおけるモデル精度と公平性の低下に寄与する主な要因であると特定された。
• 性能低下のパターンは、実際のFL展開（例：Googleのシステム）と整合しており、本プラットフォームの現実性と信頼性を裏付けた。
• q-FedAvgのような高度なFLアルゴリズムですら、現実の非均一性下では著しく性能が低下しており、アルゴリズム設計段階での再評価の必要性が示された。