[論文レビュー] Dynamic Scheduling for Over-the-Air Federated Edge Learning with Energy Constraints

Yuxuan Sun, Sheng Zhou+2 more|arXiv (Cornell University)|May 31, 2021

Privacy-Preserving Technologies in Data参考文献 44被引用数 5

ひとこと要約

本稿では、デバイスのエネルギー制約の下で通信および計算エネルギーを共同最適化する、空中透過型フェデレーテッドエッジラーニングにおけるエネルギーアウェアな動的デバイススケジューリングアルゴリズムを提案する。勾配ノルム推定を用いたラプラシアン最適化により、非i.i.d.データおよびエネルギー制限下でCIFAR-10で4.9%の精度向上を達成し、短期的最適化手法を上回りながら収束安定性を維持する。

ABSTRACT

Machine learning and wireless communication technologies are jointly facilitating an intelligent edge, where federated edge learning (FEEL) is a promising training framework. As wireless devices involved in FEEL are resource limited in terms of communication bandwidth, computing power and battery capacity, it is important to carefully schedule them to optimize the training performance. In this work, we consider an over-the-air FEEL system with analog gradient aggregation, and propose an energy-aware dynamic device scheduling algorithm to optimize the training performance under energy constraints of devices, where both communication energy for gradient aggregation and computation energy for local training are included. The consideration of computation energy makes dynamic scheduling challenging, as devices are scheduled before local training, but the communication energy for over-the-air aggregation depends on the l2-norm of local gradient, which is known after local training. We thus incorporate estimation methods into scheduling to predict the gradient norm. Taking the estimation error into account, we characterize the performance gap between the proposed algorithm and its offline counterpart. Experimental results show that, under a highly unbalanced local data distribution, the proposed algorithm can increase the accuracy by 4.9% on CIFAR-10 dataset compared with the myopic benchmark, while satisfying the energy constraints.

研究の動機と目的

• デバイスのエネルギー制約、特に通信および計算エネルギーを含めた厳しい制約下でのフェデレーテッドエッジラーニングにおけるトレーニングパフォーマンス最適化の課題に対処すること。
• 未知のトレーニング後勾配ノルムに依存する空中透過型勾配集約エネルギーを考慮した、動的スケジューリングアルゴリズムの設計。
• 局所勾配ノルムの推定をスケジューリング意思決定に組み込み、トレーニング開始前に能動的なエネルギーアウェアなデバイス選択を可能にすること。
• 推定誤差を考慮した場合の、提案されたオンラインアルゴリズムとオフライン最適ベンチマークとの間の性能ギャップを理論的に特徴付けること。
• 特に限られたエネルギー予算下での極めて不均衡なデータ環境におけるアルゴリズムの有効性を検証すること。

提案手法

• トレーニング損失とエネルギー消費を同時に最小化する目的で、ラプラシアン最適化を用い、ドリフトプラスペナルティの目的関数を定式化する。
• 真の勾配ノルムが未知であるため、オンラインスケジューリングを可能にするために、推定されたドリフトプラスペナルティアルゴリズムを導入する。
• トレーニング開始前に局所勾配の$l_2$ノルムを予測するための勾配ノルム推定モデルを採用し、エネルギーに配慮したデバイス選択を可能にする。
• 推定誤差を考慮した場合の理論的性能バインディングを、提案されたアルゴリズムとオフライン最適解の比較から導出する。推定誤差は$ ilde{y}_{n,t} $および$ ilde{E}_{n,t} $を用いて表現する。
• 局所トレーニングおよび空中透過型集約のエネルギーコストをモデル化し、1ラウンドあたりのデバイス総エネルギーに制約を設ける。
• 時間平均エネルギー制約モデルを用い、$ ar{E}_n $は$ T $ラウンドにわたるデバイスあたりの平均エネルギー予算を表す。

実験結果

リサーチクエスチョン

• RQ1 通信エネルギーが未知のトレーニング後勾配ノルムに依存する場合、空中透過型フェデレーテッドエッジラーニングにおけるデバイススケジューリングをどのように最適化できるか？
• RQ2 推定誤差が存在する状況下で、オンライン動的スケジューリングアルゴリズムとオフライン最適ベンチマークとの間の性能ギャップはどの程度か？
• RQ3 計算および通信エネルギーの共同最適化は、厳しいデバイスエネルギー制約下でモデルの精度を向上させることができるか？
• RQ4 非i.i.d.データ分布下での提案アルゴリズムの性能は、短期的最適化戦略と比較してどの程度か？
• RQ5 オンラインかつエネルギー制約下の設定において、収束性およびエネルギー準拠性に関する理論的保証はどのようなものか？

主な発見

• 提案アルゴリズムは、非i.i.d.データおよびエネルギー制約下でCIFAR-10データセットにおいて、短期的最適化ベンチマーク比で4.9%の精度向上を達成した。
• 提案されたオンラインアルゴリズムとオフライン最適解との間の理論的性能ギャップは、$ O(T^2) $で有界であり、$ T $はトレーニングラウンド数を表す。
• ラプラシアンドリフト解析により、すべてのデバイスにおける総エネルギー消費量が事前に定義された予算内に保たれることを保証している。
• 性能ギャップは推定誤差に支配され、$ heta_0 T^2 + T(T-1) heta_0 ext{sum}( heta_n) $に比例するバインディングを持つ。ここで$ heta_n $は勾配の大きさの変動を反映する。
• 予測された勾配ノルムと現在のキューのバックログに基づいて動的にデバイス選択を調整することで、安定性および収束性を維持している。
• シミュレーション結果により、従来のスケジューリングでは高精度を維持できない極めて不均衡なデータ分布下でも、アルゴリズムが効果的に機能することが確認された。