[論文レビュー] On the Design of Communication Efficient Federated Learning over Wireless Networks.

Richeng Jin, Xiaofan He+1 more|arXiv (Cornell University)|Apr 15, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用数 6

ひとこと要約

本稿は、送信側のフィードバックを最小限に抑え、勾配の符号のみを送信することで通信負荷を低減する、無線ネットワーク向けの通信効率の高いフェデレーテッドラーニング（FL）フレームワークを提案する。受信側のチャネル状態情報（CSI）のみを活用し、エネルギー、停電確率、通信ラウンド数のトレードオフを最適化することで、非同一データ分布および無線環境の制約下でも頑健な性能を達成する。シミュレーションにより、その効率性と耐障害性が検証されている。

ABSTRACT

Recently, federated learning (FL), as a promising distributed machine learning approach, has attracted lots of research efforts. In FL, the parameter server and the mobile devices share the training parameters over wireless links. As a result, reducing the communication overhead becomes one of the most critical challenges. Despite that there have been various communication-efficient machine learning algorithms in literature, few of the existing works consider their implementation over wireless networks. In this work, the idea of SignSGD is adopted and only the signs of the gradients are shared between the mobile devices and the parameter server. In addition, different from most of the existing works that consider Channel State Information (CSI) at both the transmitter side and the receiver side, only receiver side CSI is assumed. In such a case, an essential problem for the mobile devices is to select appropriate local processing and communication parameters. In particular, two tradeoffs are observed under a fixed total training time: (i) given the time for each communication round, the energy consumption versus the outage probability per communication round and (ii) given the energy consumption, the number of communication rounds versus the outage probability per communication round. Two optimization problems regarding the aforementioned two tradeoffs are formulated and solved. The first problem minimizes the energy consumption given the outage probability (and therefore the learning performance) requirement while the second problem optimizes the learning performance given the energy consumption requirement. Furthermore, the heterogeneous data distribution scenario is considered and a new algorithm that can deal with heterogeneous data distribution is proposed. Extensive simulations are performed to demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 無線ネットワーク上でのフェデレーテッドラーニングにおける高い通信負荷の課題に対処すること。
• 無線チャネル制約下でも学習性能を維持しつつ、エネルギー消費を最小限に抑えるシステムの設計。
• 時間制約のあるトレーニング環境下で、通信ラウンド数、エネルギー使用量、停電確率のトレードオフを最適化すること。
• FLにおける一般的な現実世界の課題である、デバイス間での非同一データ分布を処理すること。
• システム複雑性を低減するため、受信側のCSIのみで動作する実用的なソリューションの開発。

提案手法

• 勾配の符号のみを送信することで通信量を著しく削減するため、SignSGDアルゴリズムを採用する。
• 送信側のチャネル状態情報（CSI）は仮定せず、受信側のCSIのみを仮定することで、システムモデルを簡素化し、フィードバック負荷を低減する。
• 2つの最適化問題を定式化する：停電確率制約下でのエネルギー消費最小化、およびエネルギー予算下での学習性能最大化。
• 非同一データ分布（non-IID）設定において収束性とモデル精度を向上させるために、新しいアルゴリズムを導入する。
• 時間制約とエネルギー制約を用いて、通信ラウンドの継続時間、エネルギー使用量、各ラウンドの停電確率のトレードオフをモデル化する。
• 最適化問題を解くことにより、モバイルデバイスの最適な局所処理および通信パrameterを導出する。

実験結果

リサーチクエスチョン

• RQ1 限られたフィードバック条件下での無線ネットワーク上でのフェデレーテッドラーニングにおける通信効率を最大化する方法は何か？
• RQ2 固定されたトレーニング時間下で、各通信ラウンドにおけるエネルギー消費と停電確率の最適なトレードオフは何か？
• RQ3 エネルギー制約下で、通信ラウンド数と停電確率のトレードオフはどのように変化するか？
• RQ4 受信側のCSIのみで動作する通信効率の高いFLフレームワークは、非同一データ分布下でも性能を維持できるか？
• RQ5 時間とエネルギーの制約下で、学習性能（停電）要件を満たしつつエネルギー消費を最小限に抑えるパrameter設定（例：ラウンド継続時間、送信電力）は何か？

主な発見

• 提案手法は、勾配の符号のみを送信することで通信負荷を著しく低減し、効率的な無線環境下での展開を可能にする。
• 受信側のCSIのみに依存することで、フィードバックの複雑性を低減しつつ、頑健な性能を維持する。
• 最適化フレームワークにより、エネルギー消費と停電確率のバランスがうまく取られ、時間的・エネルギー的制約下でも信頼性の高いトレーニングが可能になる。
• 新規アルゴリズムにより、非同一データ分布が生じる状況でも効果的に対処でき、非IID環境下での収束性とモデル精度が向上する。
• シミュレーションにより、提案手法が、ベースライン手法と比較して低いエネルギー消費と低い停電確率で安定した学習性能を達成することが示された。
• トレードオフ解析から、通信ラウンドの継続時間を延長することでエネルギー効率が向上するが、停電リスクが上昇する傾向がある。このリスクは、最適なパrameterチューニングによって緩和可能であることが明らかになった。