[論文レビュー] Wirelessly Powered Federated Edge Learning: Optimal Tradeoffs Between Convergence and Power Transfer

Qunsong Zeng, Yuqing Du+1 more|arXiv (Cornell University)|Feb 24, 2021

Energy Harvesting in Wireless Networks参考文献 39被引用数 5

ひとこと要約

本稿は、モデル収束と無線エネルギー転送のトレードオフを最適化するために、デバイスの計算、通信、収集エネルギーを統合的に管理するワイヤレスで駆動されるフェデレーテッドエッジ学習（WP-FEEL）システムを提案する。収束速度が転送エネルギーと計算効率に依存することを示すスケーリング則を導出し、エッジAIシステムにおけるWPT展開の設計指針を提供する。

ABSTRACT

Federated edge learning (FEEL) is a widely adopted framework for training an artificial intelligence (AI) model distributively at edge devices to leverage their data while preserving their data privacy. The execution of a power-hungry learning task at energy-constrained devices is a key challenge confronting the implementation of FEEL. To tackle the challenge, we propose the solution of powering devices using wireless power transfer (WPT). To derive guidelines on deploying the resultant wirelessly powered FEEL (WP-FEEL) system, this work aims at the derivation of the tradeoff between the model convergence and the settings of power sources in two scenarios: 1) the transmission power and density of power-beacons (dedicated charging stations) if they are deployed, or otherwise 2) the transmission power of a server (access-point). The development of the proposed analytical framework relates the accuracy of distributed stochastic gradient estimation to the WPT settings, the randomness in both communication and WPT links, and devices' computation capacities. Furthermore, the local-computation at devices (i.e., mini-batch size and processor clock frequency) is optimized to efficiently use the harvested energy for gradient estimation. The resultant learning-WPT tradeoffs reveal the simple scaling laws of the model-convergence rate with respect to the transferred energy as well as the devices' computational energy efficiencies. The results provide useful guidelines on WPT provisioning to provide a guaranteer on learning performance. They are corroborated by experimental results using a real dataset.

研究の動機と目的

• 大規模なAIモデルの学習が限られたバッテリリソースを急速に消費する、エネルギー制約のあるエッジデバイスにおけるフェデレーテッドエッジ学習（FEEL）の課題に対処する。
• 従来の研究がエネルギー効率性や通信にのみ注目するのに対し、モデル収束と無線パワー転送（WPT）設定のトレードオフを定量的に評価することで、その制限を克服する。
• 望ましい学習パフォーマンスを達成するために、専用のパワービーコンまたはサーバーとしてのWPTインfra構築の設計指針を、解析的に提供する。
• 不安定な通信リンクとWPTリンクの相互作用を考慮し、デバイスにおける計算と通信に使用する収集エネルギーの統合的管理を実施する。
• エネルギー制約下で学習パフォーマンスを最大化するために、局所計算パラメータ（ミニバッチサイズとプロセッサ周波数）を最適化する。

提案手法

• 無線エネルギー転送を伴うフェデレーテッドエッジ学習のための確率的勾配降下（SGD）フレームワークを構築し、通信リンクおよびWPTリンクのフェージングをモデル化する。
• チャネル状態、デバイスの位置、エネルギー収集の信頼性を組み込んだ、各デバイスにおける期待局所勾配のずれを導出する。
• 上行リンクチャネルにおけるレイリーフェージングによるアクティブデバイス数をガンマ分布でモデル化し、デバイス参加のアウトージェ確率を導出する。
• 積分変換と特殊関数（不完全ガンマ関数および変形ベッセル関数）を用いて、アクティブデバイス状態下での期待勾配ずれを定式化する。
• 収集エネルギーを計算と通信に割り当てる新しいエネルギーに配慮した最適化フレームワークを導入し、収束速度を最大化する。
• 勾配ずれの漸近的解析から得られるスケーリング則を用いて、収束速度が転送エネルギーおよびデバイスの計算エネルギー効率に依存する関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 無線パワー転送（WPT）を介して転送されるエネルギー量が増加するに従い、フェデレーテッドエッジ学習の収束速度はどのように変化するか？
• RQ2 送信電力やパワービーコンの密度、またはアクセスポイントの電力といったWPTパラメータと、モデル収束の最適なトレードオフは何か？
• RQ3 通信リンクとWPTリンクの信頼性が、同時にアクティブデバイス数と学習パフォーマンスにどのように影響するか？
• RQ4 収集エネルギーを計算と通信に最適に割り当てることで、学習収束を最大限に高めることは可能か？
• RQ5 デバイス固有の計算エネルギー効率およびハードウェアパラメータ（例：プロセッサクロック周波数、ミニバッチサイズ）は、学習-WPTトレードオフにどのように影響を与えるか？

主な発見

• WP-FEELの収束速度は、転送エネルギーの立方根に比例する。これは、エネルギーが増加するにつれて収益の逓減効果が顕著になることを示している。
• モデル収束速度は、デバイスの計算エネルギー効率に比例する。つまり、同じエネルギー入力に対して、よりエネルギー効率の良いプロセッサを搭載したデバイスは、より速く収束する。
• デバイス参加のアウトージェ確率は、WPTおよび通信チャネルパラメータの関数として上限付きであり、特殊関数を用いて閉形式で表現された。
• アクティブデバイスにおける期待勾配ずれは、変形ベッセル関数および不完全ガンマ関数を含む関数によって上界で抑えられ、解析的取り扱いが可能になる。
• 導出されたスケーリング則は、WPT電力の増加またはデバイスのエネルギー効率の向上が、収束速度の単調な改善をもたらすことを示している。
• 実世界のデータセットを用いた実験的検証により、解析的予測の妥当性が確認され、提案モデルが実環境展開において高い正確性を示している。