[論文レビュー] Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity

Amirhossein Reisizadeh, Isidoros Tziotis+3 more|arXiv (Cornell University)|Dec 28, 2020

Privacy-Preserving Technologies in Data被引用数 15

ひとこと要約

本稿では、ストラグルラー（遅延するクライアント）に強く耐性を持つフェデレーテッドラーニング手法であるFLANPを提案する。この手法は、統計的精度に達した段階で、速いクライアントから順次徐々に遅いクライアントを統合するように適応的に選択する。過去の段階からのウォームスタート初期化を用いることで、特にシステムの非均一性が高く、大規模なデータ配布が行われる状況下で、FedAvgと比較して壁時計時間（wall-clock time）を最大74%短縮する。

ABSTRACT

Federated Learning is a novel paradigm that involves learning from data samples distributed across a large network of clients while the data remains local. It is, however, known that federated learning is prone to multiple system challenges including system heterogeneity where clients have different computation and communication capabilities. Such heterogeneity in clients' computation speeds has a negative effect on the scalability of federated learning algorithms and causes significant slow-down in their runtime due to the existence of stragglers. In this paper, we propose a novel straggler-resilient federated learning method that incorporates statistical characteristics of the clients' data to adaptively select the clients in order to speed up the learning procedure. The key idea of our algorithm is to start the training procedure with faster nodes and gradually involve the slower nodes in the model training once the statistical accuracy of the data corresponding to the current participating nodes is reached. The proposed approach reduces the overall runtime required to achieve the statistical accuracy of data of all nodes, as the solution for each stage is close to the solution of the subsequent stage with more samples and can be used as a warm-start. Our theoretical results characterize the speedup gain in comparison to standard federated benchmarks for strongly convex objectives, and our numerical experiments also demonstrate significant speedups in wall-clock time of our straggler-resilient method compared to federated learning benchmarks.

研究の動機と目的

• 計算速度が遅いクライアント（ストラグルラー）によるフェデレーテッドラーニングのスケーラビリティボトルネックを解消すること。
• 計算速度に顕著な差がある高度に非均一なクライアント環境下で、壁時計時間のトレーニングを短縮すること。
• 増加するデータサンプル数におけるERM解の統計的類似性を活用し、段階間でウォームスタート初期化を可能にする。
• 速いクライアントを最初に優先し、利益がある場合にのみ徐々に遅いクライアントを追加する動的クライアント参加戦略を設計すること。
• 部分的参加や未知のシステムパラメータが存在する状況下でも、モデルの精度を損なわず、顕著な高速化を達成できることを実証すること。

提案手法

• サーバーが最も速い参加者だけを待つため、ラウンドトリップ遅延を最小限に抑えるために、最も速いクライアントのみでフェデレーテッドトレーニングを開始する。
• 現在のモデルが統計的精度に達した段階で、幾何的段階（例：各段階でノード数を倍増）に従い、参加クライアント数を段階的に増加させる。
• 直前の段階の解を次の段階のウォームスタートとして使用し、同じ分布から抽出された小さなデータセットの最適解が、大きなデータセットの最適解に近いという事実を活用する。
• 固定されたイテレーション回数ではなく、勾配ノルムまたはサブ最適性誤差を監視することで、統計的精度への収束に基づいて段階遷移を決定する。
• 真のシステム定数（例：μ, c, Vns）が不明な状況下で、しきい値パラメータのヒューリスティックチューニング機構を導入し、実用的導入を可能にする。
• i.i.d.および指数的計算速度分布の両状況下で、FedAvg、FedGATE、FedNovaベンチマークと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 計算速度と統計的精度に基づく適応的クライアント参加戦略が、フェデレーテッドラーニングにおける壁時計時間の短縮に寄与するか？
• RQ2 直前の段階からのウォームスタート戦略が収束速度と最終モデルの精度に与える影響は何か？
• RQ3 強い凸性を仮定した場合、標準的なフェデレーテッドベンチマーク（例：FedAvg）と比較して、提案手法の理論的高速化利得はどの程度か？
• RQ4 部分的ノード参加や、最も速いノードのみが選択される状況下で、この手法はどのように性能を発揮するか？
• RQ5 ヒューリスティックなパrameterチューニングが、理論的に最適なFLANPアルゴリズムの性能を実際の場面でどの程度近似できるか？

主な発見

• MNISTで50台のクライアント、ノードあたり20サンプルの条件下で、FLANPはFedAvgと比較して壁時計時間を最大74%短縮し、スピードアップ比は0.74を記録した。
• ノードあたり200サンプルの場合、FLANPはFedGATEと比較してトレーニング時間を57%短縮（比0.43）し、2000サンプルでは比が0.35に低下し、データスケールが大きくなるほど利得が顕著になることが示された。
• クライアント数を10台から1000台に増加させた場合、FLANPとFedGATEの壁時計時間比は0.73から0.26に低下し、非均一性が高速化を顕著に増幅させることを示した。
• 部分的参加状況下でも、最も速いkノードのみを使用した場合でも、FLANPは速度と精度の両面で、ランダム選択や最も速いノード選択のFedGATEを上回る顕著な高速化を達成した。
• 勾配ノルムの監視に基づくフェーズ遷移しきい値のヒューリスティックチューニングが、理論的に最適なFLANPの性能に近く、実用的妥当性を確認した。
• 理論的分析により、強い凸性を仮定した場合、標準ベンチマークよりO(log(Ns))の高速化利得が得られることを示し、複数のデータセットおよびシステム構成で実証的に検証された。