[論文レビュー] To Talk or to Work: Energy Efficient Federated Learning over Mobile Devices via the Weight Quantization and 5G Transmission Co-Design.

Rui Chen, Liang Li+4 more|arXiv (Cornell University)|Dec 21, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用数 4

ひとこと要約

本稿は、5G無線伝送と重み量子化を共同で設計することで、異種のモバイルデバイス上でエネルギー効率の良いフェデレーテッドラーニング（FL）を実現する。MEC（マルチアクセスエッジコンピューティング）を統合し、混合整数プログラミング問題を定式化することで、モデルの精度と遅延を維持しつつ、合計エネルギー消費量（計算 + 送信）を最小化するため、量子化レベルと帯域幅割り当てを共同最適化する。

ABSTRACT

Federated learning (FL) is a new paradigm for large-scale learning tasks across mobile devices. However, practical FL deployment over resource constrained mobile devices confronts multiple challenges. For example, it is not clear how to establish an effective wireless network architecture to support FL over mobile devices. Besides, as modern machine learning models are more and more complex, the local on-device training/intermediate model update in FL is becoming too power hungry/radio resource intensive for mobile devices to afford. To address those challenges, in this paper, we try to bridge another recent surging technology, 5G, with FL, and develop a wireless transmission and weight quantization co-design for energy efficient FL over heterogeneous 5G mobile devices. Briefly, the 5G featured high data rate helps to relieve the severe communication concern, and the multi-access edge computing (MEC) in 5G provides a perfect network architecture to support FL. Under MEC architecture, we develop flexible weight quantization schemes to facilitate the on-device local training over heterogeneous 5G mobile devices. Observed the fact that the energy consumption of local computing is comparable to that of the model updates via 5G transmissions, we formulate the energy efficient FL problem into a mixed-integer programming problem to elaborately determine the quantization strategies and allocate the wireless bandwidth for heterogeneous 5G mobile devices. The goal is to minimize the overall FL energy consumption (computing + 5G transmissions) over 5G mobile devices while guaranteeing learning performance and training latency. Generalized Benders' Decomposition is applied to develop feasible solutions and extensive simulations are conducted to verify the effectiveness of the proposed scheme.

研究の動機と目的

• リソース制限のあるモバイルデバイスにおけるフェデレーテッドラーニング（FL）の高いエネルギー消費の課題を、複雑なモデル学習と通信オーバーヘッドに起因するものとして解決すること。
• 既存の無線ネットワークアーキテクチャが、モバイルネットワーク上でのスケーラブルかつ効率的なFLをサポートする点で抱える制限を克服すること。
• 5Gの高データレートとMECの機能を統合し、適応的重み量子化を組み合わせることで、FLにおけるエネルギー消費を低減する共同設計フレームワークを設計すること。
• 学習性能とトレーニング遅延の制約を満たしつつ、異種の5Gモバイルデバイス全体における合計エネルギー消費量（ローカル計算 + 5G送信）を最小化すること。
• 実世界の5Gモバイル環境におけるエネルギー効率の良いFLの展開に向けたスケーラブルで実用的なソリューションを提供すること。

提案手法

• 5Gの高データレートとマルチアクセスエッジコンピューティング（MEC）を活用し、モバイルデバイス上でのFLに適したスケーラブルなネットワークアーキテクチャを提供する。
• 異種の5Gモバイルデバイスの計算および通信能力に合わせてカスタマイズされた柔軟な重み量子化スキームを導入する。
• エネルギー効率の問題を、量子化レベルと無線帯域幅割り当てを共同最適化する混合整数プログラミング（MIP）定式化としてモデル化する。
• 一般化されたベンダーズ分解を適用し、複雑なMIP問題を分解・効率的に解くことで、実行可能でスケーラブルなソリューションを実現する。
• 実用的な展開の可能性を確保するため、モデルの精度とトレーニング遅延に関する制約を組み込む。
• MECアーキテクチャを用いて集約処理をオフロードし、デバイス側の計算負荷を軽減することで、エネルギー効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 5G無線ネットワークとFLをどのように共同設計することで、モバイルフェデレーテッドラーニングにおけるエネルギー消費を低減できるか？
• RQ2 合計エネルギー消費量を最小化するための最適な重み量子化の精度と無線帯域幅割り当てのトレードオフは何か？
• RQ3 能力にばらつきのある異種のモバイルデバイスを、エネルギー効率の良いFLフレームワークで効率的にサポートするにはどうすればよいか？
• RQ4 量子化と送信の共同最適化が、モデル収束性とトレーニング遅延に与える影響は何か？
• RQ5 提案された共同設計アプローチは、エネルギー消費を顕著に削減しつつ、許容可能な学習性能を維持できるか？

主な発見

• 提案された共同設計フレームワークは、量子化と帯域幅割り当てを共同最適化することで、合計エネルギー消費量を顕著に削減する。
• ローカル計算によるエネルギー消費と5G送信によるエネルギー消費が同等の規模であることが判明し、両者の共同最適化が正当化される。
• 一般化されたベンダーズ分解の活用により、混合整数プログラミング問題の効率的解法が可能となり、スケーラビリティが保証される。
• 広範なシミュレーションにより、提案手法が異種デバイス全体でエネルギー消費を最小限に抑えつつ、高いモデル精度を維持することが確認された。
• フレームワークは、トレーニング遅延とエネルギー効率の両方を効果的にバランスさせ、実世界の5Gモバイル環境への展開に適している。
• MECと適応的量子化の統合により、従来手法と比較してよりスケーラブルかつエネルギー効率の良いFLアーキテクチャが実現された。