[論文レビュー] Device Scheduling with Fast Convergence for Wireless Federated Learning

Wenqi Shi, Sheng Zhou+1 more|arXiv (Cornell University)|Nov 3, 2019

Privacy-Preserving Technologies in Data参考文献 5被引用数 12

ひとこと要約

本稿では、時間制約下での収束を加速するための、無線フェデレーテッドラーニングにおけるバンド幅割り当てとデバイススケジューリングの統合的ポリシーを提案する。ラウンドあたりの遅延と学習効率の両方を最適化することで、グリーディスケジューリングポリシーは、最先端のベースラインと比較して最大14.8%高いモデル精度を達成し、450秒のトレーニング予算内で顕著に優れた性能を発揮する。

ABSTRACT

Owing to the increasing need for massive data analysis and model training at the network edge, as well as the rising concerns about the data privacy, a new distributed training framework called federated learning (FL) has emerged. In each iteration of FL (called round), the edge devices update local models based on their own data and contribute to the global training by uploading the model updates via wireless channels. Due to the limited spectrum resources, only a portion of the devices can be scheduled in each round. While most of the existing work on scheduling focuses on the convergence of FL w.r.t. rounds, the convergence performance under a total training time budget is not yet explored. In this paper, a joint bandwidth allocation and scheduling problem is formulated to capture the long-term convergence performance of FL, and is solved by being decoupled into two sub-problems. For the bandwidth allocation sub-problem, the derived optimal solution suggests to allocate more bandwidth to the devices with worse channel conditions or weaker computation capabilities. For the device scheduling sub-problem, by revealing the trade-off between the number of rounds required to attain a certain model accuracy and the latency per round, a greedy policy is inspired, that continuously selects the device that consumes the least time in model updating until achieving a good trade-off between the learning efficiency and latency per round. The experiments show that the proposed policy outperforms other state-of-the-art scheduling policies, with the best achievable model accuracy under training time budgets.

研究の動機と目的

• 総トレーニング時間予算に基づく収束性能に焦点を当て、ラウンド数のみに注目する既存の無線フェデレーテッドラーニング（FL）研究のギャップを埋める。
• 目標モデル精度に到達するまでの期待時間の最小化を目的とした、バンド幅割り当てとデバイススケジューリングの統合的最適化問題を定式化する。
• 動的無線環境における学習効率とラウンドあたりの遅延の両立を図るスケジューリングポリシーを設計する。
• 現実世界の時間制約下で、既存のスケジューリング戦略と比較して収束速度と最終的なモデル精度を向上させる。

提案手法

• 統合最適化問題を2つの部分問題に分解する：バンド幅割り当てとデバイススケジューリング。
• チャネル状態が悪い、または計算能力が低いデバイスを優先する最適なバンド幅割り当てポリシーを導出する。
• 最小更新時間に基づいてデバイスを選択するグリーディスケジューリングポリシーを提案し、ラウンドあたりのデバイス数を最大化するとともに遅延を最小化する。
• 与えられたスケジュール済みデバイスのセットに対して、バンド幅割り当て部分問題を数値的に解くために二分探索を用いる。
• バンド幅割り当てとスケジューリング意思決定を統合し、時間制約下での収束速度を共同で最適化する。
• リアルタイムのチャネル状態と計算能力に基づき、継続的にデバイス選択を再評価することで、動的環境に適応する。

実験結果

リサーチクエスチョン

• RQ1 固定された総トレーニング時間予算下で、無線フェデレーテッドラーニングにおけるデバイススケジューリングをどのように最適化できるか？
• RQ2 ラウンドあたりのスケジュールデバイス数とラウンドあたりの遅延のトレードオフは何か？ そして、最適なパフォーマンスを得るためにどのようにバランスを取れるか？
• RQ3 バンド幅割り当てを統合的に最適化することで、無線FLシステムにおける収束時間と最終的なモデル精度にどのような影響を与えるか？
• RQ4 時間制約下で、提案ポリシーは既存のスケジューリングベースライン（例：ランダム、比例公平、時間閾値ベース）と比較して、どの程度モデル精度で優位性を発揮するか？
• RQ5 セル半径やデバイスの非均質性といったネットワーク条件の変化に伴い、提案ポリシーのパフォーマンスはどのように変化するか？

主な発見

• 提案ポリシーは450秒のトレーニング内で89.85%のテスト精度を達成し、Random-opt（75.05%）、CL-low（82.38%）、CL-high（87.50%）、PF（86.57%）をそれぞれ14.8%、7.47%、2.35%、3.28%上回る。
• 平均ラウンド遅延を12.07秒に低減するとともに、平均ラウンドあたり8.31台のデバイスをスケジューリングし、学習効率と遅延の両面で優れたトレードオフを実現した。
• CL-high（遅延を犠牲にして収束速度を優先）と比較して、本提案ポリシーは80%の精度に到達するまでの時間を53秒短縮（171秒 vs. 224秒）した。
• 本提案ポリシーの性能優位性は、通信遅延が支配的となる大きなセル半径（例：1400m）において顕著に現れ、セル半径が小さくなると遅延差が小さくなるため、優位性が徐々に薄れる。
• 本提案ポリシーは変動するネットワーク条件にうまく適応でき、さまざまなセル半径において一貫してベースラインを上回る高い精度を維持する。
• バンド幅割り当て戦略は、チャネル品質が悪い、または計算能力が低いデバイスに多くのスペクトルを割り当てることで、公平性と収束効率を向上させる。