[論文レビュー] FLuID: Mitigating Stragglers in Federated Learning using Invariant Dropout

Irène Wang, Prashant J. Nair+1 more|arXiv (Cornell University)|Jul 5, 2023

Privacy-Preserving Technologies in DataComputer Science被引用数 3

ひとこと要約

FLuID は、フェデレーテッドラーニングにおけるスローダイブスの計算負荷を軽減するために、低影響で不変なニューロンを特定・除外する動的サブモデルプルーニング技術「インヴァリアントドロップアウト」を導入する。非スローダイブスの更新を活用してランタイムでサブモデルをプロファイルおよび適応的に調整することで、最先端の手法と比較して最大18%の高速化を達成し、精度を向上させつつモデル効率を維持し、オーバーヘッドを最小限に抑える。

ABSTRACT

Federated Learning (FL) allows machine learning models to train locally on individual mobile devices, synchronizing model updates via a shared server. This approach safeguards user privacy; however, it also generates a heterogeneous training environment due to the varying performance capabilities across devices. As a result, straggler devices with lower performance often dictate the overall training time in FL. In this work, we aim to alleviate this performance bottleneck due to stragglers by dynamically balancing the training load across the system. We introduce Invariant Dropout, a method that extracts a sub-model based on the weight update threshold, thereby minimizing potential impacts on accuracy. Building on this dropout technique, we develop an adaptive training framework, Federated Learning using Invariant Dropout (FLuID). FLuID offers a lightweight sub-model extraction to regulate computational intensity, thereby reducing the load on straggler devices without affecting model quality. Our method leverages neuron updates from non-straggler devices to construct a tailored sub-model for each straggler based on client performance profiling. Furthermore, FLuID can dynamically adapt to changes in stragglers as runtime conditions shift. We evaluate FLuID using five real-world mobile clients. The evaluations show that Invariant Dropout maintains baseline model efficiency while alleviating the performance bottleneck of stragglers through a dynamic, runtime approach.

研究の動機と目的

• デバイスの非均一性に起因するフェデレーテッドラーニングにおけるスローダイブスデバイスによる性能ボトルネックを解消すること。
• クライアントの能力に応じてサブモデルを動的に適応させることで、モデル精度を損なわずトレーニング遅延を短縮すること。
• スローダイブス状態の変化に応じてサブモデルを再キャリブレーションする、軽量でランタイム適応型のフレームワークを構築すること。
• 特定のニューロンのみをドロップする戦略により、クライアントの貢献を維持し、トレーニングバイアスを回避すること。

提案手法

• インヴァリアントドロップアウトは、トレーニングの各イテレーションにおいて重みの更新が最小限（すなわち不変な）ニューロンを特定する。これらのニューロンはモデル性能にほとんど寄与しない。
• サーバーは、非スローダイブスクライアントの更新を用いてこれらの不変ニューロンを検出する。これにより、スローダイブスのデータに依存することを避ける。
• クライアントのトレーニング時間と更新量に基づいて、動的ドロップしきい値を計算し、各スローダイブスごとにサブモデルのサイズを決定する。
• フレームワークはトレーニング中に定期的にサブモデルを再キャリブレーションし、バッテリー消費やネットワークの変動といったランタイムの変化に適応する。
• しきい値以下のニューロンをドロップすることでサブモデルを構築し、スローダイブスがトレーニングに使用するのは高影響のニューロンのみとなる。
• キャリブレーション処理はサーバー上で集中管理されるため、エッジデバイスへのオーバーヘッドが少なく、総実行時間の5%未満に抑える。

Figure 1 : Straggler’s impact on FL performance. In synchronous FL, all clients, including stragglers, participate in global model aggregation.

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるスローダイブスデバイスの計算負荷を軽減するために、どのようにして低影響のニューロンを動的に特定・除外できるか？
• RQ2 ニューロンの更新不変性に基づくサブモデルプルーニング戦略は、モデル精度を維持しながらトレーニング効率を向上させることができるか？
• RQ3 ランタイムでのスローダイブス状態の変化への適応性が、非均質なフェデレーテッドシステムにおけるトレーニング速度と収束に与える影響は何か？
• RQ4 インヴァリアントドロップアウトは、静的またはランダムなサブモデルプルーニングと比較して、精度およびパフォーマンス面で優れているか？
• RQ5 変動する計算能力と動的なスローダイブス行動を示す多数のクライアント環境において、このフレームワークはスケーラブルか？

主な発見

• FLuID は、複数の実世界のモバイルクライアントを対象に、ベースラインの同期フェデレーテッドラーニングと比較して最大18%の高速化を達成した。
• スローダイブスの性能がトレーニング中に変動しても、静的スローダイブスセットを使用する場合と比較して、トレーニング時間を14〜18%短縮した。
• インヴァリアントドロップアウトは、順序付けドロップアウトおよびランダムドロップアウトを上回り、ベンチマークデータセット上で最大1.4パーセンテージポイントの精度向上を達成した。
• FLuID のキャリブレーションオーバーヘッドは、総トレーニング時間の5%未満であり、その軽量性を示している。
• 20%のクライアントがスローダイブスであっても、FLuID は高いモデル精度を維持し、スローダイブスを完全に除外する手法を上回った。
• クライアントのサンプリングを用いて1000人のシミュレートクライアントを対象とした実験で、フレームワークは大規模かつ動的な環境でも効果的にスケーリングできることを示した。

(a) The per-epoch training time of client devices in log scale.