[論文レビュー] Joint Device Scheduling and Resource Allocation for Latency Constrained Wireless Federated Learning

Wenqi Shi, Sheng Zhou+3 more|arXiv (Cornell University)|Jul 14, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用数 13

ひとこと要約

本稿では、固定の学習時間予算内でのモデル精度を最大化することを目的として、遅延制約のある無線フェデレーテッドラーニングにおける共同デバイススケジューリングおよびリソース割り当てフレームワークを提案する。訓練損失の逆数に対する下界を導出し、問題を最適帯域幅割り当てとグリーディなデバイス選択に分離することで、劣悪なチャネル状態または弱い計算能力を持つデバイスを優先し、多様なネットワーク設定において最先端のポリシーを上回る収束性能を達成する。

ABSTRACT

In federated learning (FL), devices contribute to the global training by uploading their local model updates via wireless channels. Due to limited computation and communication resources, device scheduling is crucial to the convergence rate of FL. In this paper, we propose a joint device scheduling and resource allocation policy to maximize the model accuracy within a given total training time budget for latency constrained wireless FL. A lower bound on the reciprocal of the training performance loss, in terms of the number of training rounds and the number of scheduled devices per round, is derived. Based on the bound, the accuracy maximization problem is solved by decoupling it into two sub-problems. First, given the scheduled devices, the optimal bandwidth allocation suggests allocating more bandwidth to the devices with worse channel conditions or weaker computation capabilities. Then, a greedy device scheduling algorithm is introduced, which in each step selects the device consuming the least updating time obtained by the optimal bandwidth allocation, until the lower bound begins to increase, meaning that scheduling more devices will degrade the model accuracy. Experiments show that the proposed policy outperforms state-of-the-art scheduling policies under extensive settings of data distributions and cell radius.

研究の動機と目的

• 制限されたスケジューリング帯域幅とデバイスの非均質性による、ラウンドごとの学習遅延と収束速度のトレードオフを解消すること。
• 共同してデバイススケジューリングとリソース割り当てを最適化することで、固定の総学習時間予算内でのモデル精度を最大化すること。
• 変動するチャネル品質やデバイスの計算能力を含む、動的な無線状態を考慮すること。
• 最適帯域幅割り当て下での更新時間最小化を図ることで、遅延となるデバイスの影響を軽減すること。
• 多様なデータ分布およびセル半径に適応可能なスケーラブルで柔軟なポリシーを構築すること。

提案手法

• 訓練ラウンド数および1ラウンドあたりにスケジューリングされるデバイス数を用いて、訓練性能損失の逆数に対する下界を導出する。
• モデル精度の最大化問題を2つの部分問題に分解する：最適帯域幅割り当てとグリーディなデバイススケジューリング。
• 更新時間の短縮を図るため、チャネル状態が劣悪または計算能力が弱いデバイスに多くの帯域幅を割り当てるべきであると提唱する。
• 各反復において、最適帯域幅割り当て下で更新に要する時間が最小となるデバイスを選択するグリーディなデバイススケジューリングアルゴリズムを導入する。
• 訓練損失の下界が増加し始めると、精度に与える寄与が減少し始めるため、その時点で追加のデバイスのスケジューリングを停止する。
• 理論的分析と期待値の境界を用いて、非独立同分布（non-iid）データおよび非均質なデバイス能力下での収束保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 遅延制約のある無線フェデレーテッドラーニングにおいて、デバイススケジューリングとリソース割り当てをどのように共同最適化することで、モデル精度を最大化できるか？
• RQ2 より多くのデバイスをスケジューリングすることで、ラウンドごとの遅延と収束速度のトレードオフにどのような影響を与えるか？
• RQ3 最大更新時間の短縮と遅延デバイスの低減を図るため、スケジュールされたデバイス間で帯域幅をどのように割り当てるべきか？
• RQ4 1ラウンドあたりの収束が速くても、追加のデバイスをスケジューリングすることでモデル精度が劣化する条件は何か？
• RQ5 提案ポリシーは、異なるデータ分布やネットワークトポロジー（例：異なるセル半径）にどのように適応するか？

主な発見

• 提案された共同スケジューリングおよびリソース割り当てポリシーは、さまざまなデータ分布のシナリオおよびセル半径において、最先端の手法を上回る高いモデル精度を達成する。
• 最適帯域幅割り当ては、チャネル状態が劣悪または計算能力が弱いデバイスに有利に働くことで、その更新時間を短縮し、遅延デバイスの影響を軽減する。
• グリーディなスケジューリングアルゴリズムは、訓練損失の下界が増加し始めると、追加のデバイスを追加しなくなるため、最終的な精度の低下を防ぐ。
• 動的適応により、ラウンド数と1ラウンドあたりの遅延のバランスを取ることで、時間予算内での収束を保証する。
• 実験により、同種および非同種のデバイス環境下でも、既存のアプローチを上回ることが確認された。
• 理論的分析により、期待される逆損失が下限から抑えられることを証明し、定められた精度ギャップ内での収束が保証されることを示した。