[論文レビュー] Towards Energy Efficient Federated Learning over 5G+ Mobile Devices

Dian Shi, Liang Li+4 more|arXiv (Cornell University)|Jan 13, 2021

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本稿では、局所的計算と無線通信のエネルギー消費を共同で最適化することで、5G+モバイルデバイス向けにエネルギー効率の高いフェデレーテッドラーニングフレームワークを提案する。勾配のスパarsification、量子化、動的バッチサイズ調整といった技術を統合し、モデルの精度を維持したまま総合的エネルギー消費を削減する。シミュレーションでは顕著なエネルギー削減効果を示した。

ABSTRACT

The continuous convergence of machine learning algorithms, 5G and beyond (5G+) wireless communications, and artificial intelligence (AI) hardware implementation hastens the birth of federated learning (FL) over 5G+ mobile devices, which pushes AI functions to mobile devices and initiates a new era of on-device AI applications. Despite the remarkable progress made in FL, huge energy consumption is one of the most significant obstacles restricting the development of FL over battery-constrained 5G+ mobile devices. To address this issue, in this paper, we investigate how to develop energy efficient FL over 5G+ mobile devices by making a trade-off between energy consumption for "working" (i.e., local computing) and that for "talking" (i.e., wireless communications) in order to boost the overall energy efficiency. Specifically, we first examine energy consumption models for graphics processing unit (GPU) computation and wireless transmissions. Then, we overview the state of the art of integrating FL procedure with energy-efficient learning techniques (e.g., gradient sparsification, weight quantization, pruning, etc.). Finally, we present several potential future research directions for FL over 5G+ mobile devices from the perspective of energy efficiency.

研究の動機と目的

• バッテリー制限のある5G+モバイルデバイスにおけるフェデレーテッドラーニングの高エネルギー消費を低減すること。
• FLトレーニングにおける局所的GPU計算と無線通信のエネルギー使用をバランスさせること。
• モデルパフォーマンスを維持したまま、総合的エネルギー消費を最小限に抑えるシステムレベルの戦略を開発すること。
• FLにおけるエネルギー効率とプライバシー保護の相乗効果を調査すること。
• 異種デバイスに適応可能な柔軟なアグリゲーションおよび適応的圧縮技術を提案すること。

提案手法

• GPUベースの局所的計算および5G+無線アップリンク伝送のエネルギーモデルを構築する。
• 通信オーバーヘッドを低減するために、勾配のスパarsification、量子化、モデルプルーニングを統合する。
• トレーニングエネルギーと収束速度のバランスを取るために、動的バッチサイズの適応を適用する。
• 計算と通信のエネルギー消費を共同で最適化する共同設計フレームワークを設計する。
• 不要な参加を低減し、エネルギー消費を削減するための柔軟かつ非同期のアグリゲーション方式を提案する。
• 圧縮技術の内在的プライバシー利点を活用し、追加のノイズを加えることなくセキュリティを強化する。

実験結果

リサーチクエスチョン

• RQ1 局所的計算と無線通信のバランスを取ることで、5G+モバイルデバイス上でのフェデレーテッドラーニングにおけるエネルギー消費をどのように最小化できるか？
• RQ2 勾配のスパarsification、量子化、プルーニングがFLにおけるエネルギー効率に与える影響は何か？
• RQ3 動的バッチサイズの適応は、モデル収束の劣化を招かずにエネルギー効率をどのように向上させるか？
• RQ4 柔軟かつ非同期のアグリゲーション方式は、エネルギー消費低減にどのような役割を果たすか？
• RQ5 エネルギー効率の良い技術は、FLにおいて内在的なプライバシー保護を提供できるか？

主な発見

• 5Gを介して100MBのResNet-50モデルを送信するエネルギー消費は、ハイエンドGPUでの1トレーニングステップの消費エネルギー（例：30J）と同等である。
• 勾配のスパarsificationと量子化は、顕著な精度損失なしに通信エネルギーを顕著に削減する。
• モデルプルーニングと動的バッチサイズの適応により、冗長な計算とデータ転送を最小限に抑え、エネルギー消費をさらなる削減が可能である。
• 柔軟かつ非同期のアグリゲーションにより、1ラウンドあたりのアクティブデバイス数が減少し、全体のエネルギー消費が低減される。
• 量子化やプルーニングといった圧縮ベースの技術は、内在的にプライバシーを強化し、追加のノイズ注入の必要性を低減する。
• シミュレーションにより、提案された共同設計アプローチが、多様なデバイス能力とチャネル状態において顕著なエネルギー削減を達成することが確認された。