[論文レビュー] An Empirical Study of Federated Learning on IoT-Edge Devices: Resource Allocation and Heterogeneity

Kok‐Seng Wong, Manh Nguyen-Duc+4 more|arXiv (Cornell University)|May 31, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本研究は、実世界のIoTエッジデバイスにおけるフェデレーテッドラーニング（FL）を実証的に評価し、シミュレーションベースのFL評価が実世界のコストやパフォーマンス上の問題を著しく低く見積もっていることを明らかにした。著者らは、計算上の非均一性とデータの非IID分布が、FLの収束と効率に影響を与える主な要因であることを示した。特に、デバイス内での学習によって、デバイス間で学習時間とリソース消費に顕著なばらつきが生じることが明らかになった。

ABSTRACT

Nowadays, billions of phones, IoT and edge devices around the world generate data continuously, enabling many Machine Learning (ML)-based products and applications. However, due to increasing privacy concerns and regulations, these data tend to reside on devices (clients) instead of being centralized for performing traditional ML model training. Federated Learning (FL) is a distributed approach in which a single server and multiple clients collaboratively build an ML model without moving data away from clients. Whereas existing studies on FL have their own experimental evaluations, most experiments were conducted using a simulation setting or a small-scale testbed. This might limit the understanding of FL implementation in realistic environments. In this empirical study, we systematically conduct extensive experiments on a large network of IoT and edge devices (called IoT-Edge devices) to present FL real-world characteristics, including learning performance and operation (computation and communication) costs. Moreover, we mainly concentrate on heterogeneous scenarios, which is the most challenging issue of FL. By investigating the feasibility of on-device implementation, our study provides valuable insights for researchers and practitioners, promoting the practicality of FL and assisting in improving the current design of real FL systems.

研究の動機と目的

• シミュレーテッドFL評価と実世界のIoTエッジデバイスへの展開との間のギャップを調査すること。
• 計算上の非均一性、ネットワークの変動、データの非IID分布がFLパフォーマンスとリソースコストに与える影響を分析すること。
• 実際のリソース消費とシステムの安定性に焦点を当て、デバイス内FLの実現可能性についての実証的知見を提供すること。
• 既存のシミュレーションベースのFL研究が、実際の運用上の制約を十分に捉えていないことの限界を評価すること。

提案手法

• Raspberry Pi やNVIDIA Jetsonプラットフォームを含む、計算能力にばらつきのあるIoTエッジデバイスの異種ネットワークを対象に、大規模な実世界のFL実験を実施した。
• 各FLラウンド中に、実際の学習時間、メモリ使用量、CPU/GPU負荷、ネットワーク帯域幅消費量を測定した。
• FedAvgアルゴリズムを用い、データパーティショニングを制御することで、クライアント間で非IIDデータ分布を模擬した。
• バッテリー消費、メモリカードのパフォーマンス、サーバー負荷といったシステムレベルのメトリクスを収集・分析し、実世界の運用コストを評価した。
• 実デバイスの結果とシミュレーションベースのFLパフォーマンスを比較し、収束速度とリソース使用量における乖離を特定した。
• 電源の品質とメモリカードの信頼性が、モデル学習の安定性と正確性に与える影響を評価した。

Figure 1: The standard FL framework.

実験結果

リサーチクエスチョン

• RQ1 RQ1: IoTエッジデバイスにおける実世界のFL展開は、シミュレーションベースの評価と比べて、パフォーマンスとリソース消費においてどのように異なるか？
• RQ2 RQ2: IoTデバイス間の計算上の非均一性が、FLの収束時間とモデルの正確性に与える影響は何か？
• RQ3 RQ3: データの非均一性、ネットワークの変動、デバイスリソース制約の組み合わせが、FLシステムの効率に与える総合的影響は何か？
• RQ4 RQ4: 電源の安定性やメモリカードのパフォーマンスといった要因が、デバイス内FL学習の信頼性と耐久性に与える影響は何か？

主な発見

• シミュレーションベースのFL評価は、特に低性能デバイスにおいて、実世界の学習時間とリソース消費を著しく低く見積もっている。
• 計算上の非均一性により、更新の交換時間に顕著なばらつきが生じ、遅いデバイスがFLプロセスのボトル neck となる。
• データの非IID分布は、計算的およびネットワーク的非均一性と組み合わさると、モデル収束に最も大きな要因として影響を与える。
• バッテリーの劣化は、グローバルモデルの正確性の低下と直接相関しており、電源制約が学習品質に影響を与えることを示している。
• メモリカードの速度と信頼性は、データI/Oパフォーマンスに影響を与え、遅延やデータ損失のリスクを高める。
• 集約サーバーのパフォーマンスは極めて重要であり、サーバーの過負荷は、特にクライアント数が多い場合にモデル更新の遅延を引き起こし、FL学習サイクルを乱す可能性がある。

Figure 2: Our Methodology.