[論文レビュー] To Talk or to Work: Flexible Communication Compression for Energy Efficient Federated Learning over Heterogeneous Mobile Edge Devices

Liang Li, Dian Shi+4 more|arXiv (Cornell University)|Dec 22, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 12

ひとこと要約

本稿では、異種のモバイルエッジデバイス上でエネルギー効率の良いフェデレーテッドラーニングを実現するための柔軟な通信圧縮方式を提案する。デバイス固有の計算および通信条件に基づき、勾配スパarsityと時間的スパarsityを共同で最適化することで、'作業'（局所計算）と'会話'（勾配送信）のエネルギー消費をバランスさせ、モデルの精度を損なわずに最大100倍のエネルギー節約を達成する。

ABSTRACT

Recent advances in machine learning, wireless communication, and mobile hardware technologies promisingly enable federated learning (FL) over massive mobile edge devices, which opens new horizons for numerous intelligent mobile applications. Despite the potential benefits, FL imposes huge communication and computation burdens on participating devices due to periodical global synchronization and continuous local training, raising great challenges to battery constrained mobile devices. In this work, we target at improving the energy efficiency of FL over mobile edge networks to accommodate heterogeneous participating devices without sacrificing the learning performance. To this end, we develop a convergence-guaranteed FL algorithm enabling flexible communication compression. Guided by the derived convergence bound, we design a compression control scheme to balance the energy consumption of local computing (i.e., "working") and wireless communication (i.e., "talking") from the long-term learning perspective. In particular, the compression parameters are elaborately chosen for FL participants adapting to their computing and communication environments. Extensive simulations are conducted using various datasets to validate our theoretical analysis, and the results also demonstrate the efficacy of the proposed scheme in energy saving.

研究の動機と目的

• 頻繁な通信と局所学習に起因するバッテリ制限付きのモバイルエッジデバイスにおけるフェデレーテッドラーニングの高いエネルギー消費を解消すること。
• 異種のデバイスに対して均一な圧縮を仮定する既存の圧縮FL手法の制限を克服すること。
• 収束保証付きのFLアルゴリズムを設計し、デバイスに適応する柔軟な通信圧縮を可能とすること。
• 長期的な学習視点において、局所計算（'作業'）と無線伝送（'会話'）のエネルギー消費をバランスさせること。
• デバイス固有の計算およびチャネル状態に基づき、勾配スパarsityと時間的スパarsityを動的に調整する圧縮制御スキームを設計すること。

提案手法

• 各デバイスに対して勾配スパarsityと時間的スパarsityを共同で最適化する柔軟な通信圧縮フレームワークを提案する。
• 圧縮に起因する勾配歪みと通信遅延の両方を考慮した理論的収束バウンドを導出する。
• 局所計算と通信のエネルギー消費をバランスさせることで、総エネルギー消費を最小化する圧縮制御スキームを設計する。
• デバイス固有のエネルギー消費モデルを用い、計算およびチャネル状態に基づき圧縮パラメータ（勾配スパarsityと時間的スパarsity）を適応的に選択する。
• 変動する通信品質および計算能力に応じて圧縮レベルを動的に調整する最適化戦略を実装する。
• 収束を保証しつつエネルギー消費を最小限に抑えるために、圧縮制御を局所SGDに基づくFLアルゴリズムに統合する。

実験結果

リサーチクエスチョン

• RQ1 計算および通信能力にばらつきを持つ異種のモバイルエッジデバイスに、通信圧縮をどのように柔軟に適応できるか？
• RQ2 フェデレーテッドラーニング中に総エネルギー消費を最小化する際の、勾配スパarsityと時間的スパarsityのトレードオフは何か？
• RQ3 モデルの精度を維持しつつ、デバイス固有の圧縮をサポートする収束保証付きのFLアルゴリズムを設計できるか？
• RQ4 '作業'（計算）と'会話'（通信）のエネルギー消費のバランスが、全体の学習効率にどのように影響するか？
• RQ5 モデル収束の劣化を招かずに、適応的圧縮制御によってエネルギー消費をどの程度削減できるか？

主な発見

• 提案された柔軟な圧縮方式は、複数のデータセットおよびモデルにおいて、ベースラインの分散SGDと比較してエネルギー消費を1.5倍から100倍まで削減した。
• この方式は、統一圧縮手法と同等の収束性能を維持しており、最終的な精度は非圧縮ベースラインとわずかに低いにとどまった。
• 時間的スパarsityは勾配スパarsityよりも収束速度に顕著な影響を及ぼしており、通信頻度の低減が勾配サイズの低減よりも効果的であることを示している。
• 低複雑度環境では、より高い時間的スパarsityにより通信ラウンド数を削減することを優先するが、高遅延環境では、1ラウンドあたりの送信コストを低減するために勾配スパarsityを増加させる。
• 制御スキームにより、勾配スパarsityと時間的スパarsityのトレードオフが効果的に管理され、デバイスの異種性に滑らかに適応できるようになった。
• シミュレーションにより、理論的収束バウンドが柔軟な圧縮下でのモデル挙動を正確に予測できることを確認し、解析フレームワークの妥当性が裏付けられた。