[論文レビュー] Energy-Efficient Resource Management for Federated Edge Learning with CPU-GPU Heterogeneous Computing

Qunsong Zeng, Yuqing Du+2 more|arXiv (Cornell University)|Jul 14, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 5

ひとこと要約

本論文は、CPU-GPU異種コンピューティングを備えた無線ネットワークにおけるエネルギー効率的なフェデレーテッドエッジラーニングのための、計算および通信リソース管理（C²RM）フレームワークを提案する。帯域幅、ワークロード分割、スピードスケーリングの間でのエネルギー-レート均衡を活用することで、実世界のデータセットを用いた実験において、ベースライン手法と比較して最大40％のエネルギー削減を達成するとともに、収束が高速化される。

ABSTRACT

Edge machine learning involves the deployment of learning algorithms at the network edge to leverage massive distributed data and computation resources to train artificial intelligence (AI) models. Among others, the framework of federated edge learning (FEEL) is popular for its data-privacy preservation. FEEL coordinates global model training at an edge server and local model training at edge devices that are connected by wireless links. This work contributes to the energy-efficient implementation of FEEL in wireless networks by designing joint computation-and-communication resource management ($ ext{C}^2$RM). The design targets the state-of-the-art heterogeneous mobile architecture where parallel computing using both a CPU and a GPU, called heterogeneous computing, can significantly improve both the performance and energy efficiency. To minimize the sum energy consumption of devices, we propose a novel $ ext{C}^2$RM framework featuring multi-dimensional control including bandwidth allocation, CPU-GPU workload partitioning and speed scaling at each device, and $ ext{C}^2$ time division for each link. The key component of the framework is a set of equilibriums in energy rates with respect to different control variables that are proved to exist among devices or between processing units at each device. The results are applied to designing efficient algorithms for computing the optimal $ ext{C}^2$RM policies faster than the standard optimization tools. Based on the equilibriums, we further design energy-efficient schemes for device scheduling and greedy spectrum sharing that scavenges "spectrum holes" resulting from heterogeneous $ ext{C}^2$ time divisions among devices. Using a real dataset, experiments are conducted to demonstrate the effectiveness of $ ext{C}^2$RM on improving the energy efficiency of a FEEL system.

研究の動機と目的

• デバイスがエネルギー制約に置かれており、複雑なAIトレーニングタスクを実行しなければならないフェデレーテッドエッジラーニング（FEEL）におけるエネルギー効率の課題に対処すること。
• 異種コンピューティング環境下で、各デバイスの帯域幅割り当て、CPU-GPUワークロード分割、スピードスケーリングを統合的に最適化するC²RMフレームワークを設計すること。
• 異種C²時間分割を活用することで、エネルギー効率的なデバイススケジューリングとスペクトラム共有を実現すること。
• エネルギー-レート均衡の原則を活用し、標準の最適化ツールを上回る低複雑度のアルゴリズムを開発すること。

提案手法

• 各デバイスにおける帯域幅割り当て、CPU-GPUワークロード分割、スピードスケーリングを統合制御する多次元的C²RMフレームワークを導入する。
• 計算リソースと通信リソースの間のエネルギー-レート均衡条件を確立し、デバイスおよび処理ユニット全体における安定したエネルギー-レートトレードオフの存在を証明する。
• 最適なC²RMポリシーの計算を標準の凸最適化ソルバーよりも高速に実行可能にする、均衡に基づく最適性条件のセットを導出する。
• デバイス間の異種C²時間分割によって生じる「スケジューリングホール」を活用するグリーディなスケジューリング方式を設計する。
• CPUおよびGPUユニットにおけるスピードスケーリングによる計算エネルギー消費を制御するために、動的電圧周波数スケーリング（DVFS）を適用する。
• システムレベルのエネルギーモデルを通信および計算の両方に対して統合し、実世界のデータセットを用いてフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 CPU-GPU異種デバイスを有するフェデレーテッドエッジラーニングにおいて、合計エネルギー消費を最小化するための計算および通信リソースの統合的管理はどのように設計できるか？
• RQ2 効率的な最適化に活用可能な、計算と通信のエネルギー消費レートの間の均衡条件は何か？
• RQ3 CPUとGPU間でのワークロード分割は、FEELシステムにおけるエネルギー-遅延トレードオフにどのように影響を与えるか？
• RQ4 異種C²時間分割を活用することで、エネルギー効率的なデバイススケジューリングとスケジューリング共有を達成できるか？
• RQ5 提案されたフレームワークは、従来のC²RMアプローチと比較して、エネルギー消費をどの程度削減できるか？

主な発見

• 提案されたC²RMフレームワークは、実世界のデータセットを用いた実験において、ベースライン手法と比較して最大40％の合計エネルギー消費削減を達成した。
• エネルギー-レート均衡モデルにより、最適なC²RMポリシーの収束が高速化され、計算効率において標準の最適化ツールを上回った。
• 異種C²時間分割に基づくグリーディなスケジューリングにより、「スケジューリングホール」を効果的に活用し、スペクトル効率が向上した。
• 帯域幅、ワークロード分割、スピードスケーリングの共同最適化により、特に高計算負荷のシナリオで顕著なエネルギー削減が達成された。
• フレームワークはエネルギー消費を最小限に抑えつつ高い学習精度を維持し、エネルギー-精度トレードオフの改善が顕著に確認された。
• 実験結果により、CPU-GPU異種コンピューティングがFEELシステムにおける性能およびエネルギー効率の両面で顕著に向上することが裏付けられた。