[論文レビュー] One-Bit Over-the-Air Aggregation for Communication-Efficient Federated Edge Learning: Design and Convergence Analysis

Guangxu Zhu, Yuqing Du+2 more|arXiv (Cornell University)|Jan 16, 2020

Distributed Sensor Networks and Detection Algorithms参考文献 33被引用数 10

ひとこと要約

本稿では、通信効率の高いフェデレーテッドエッジラーニングを実現するためのデジタルオーバーザエアコンピューテーション方式であるOne-Bit Broadband Digital Aggregation (OBDA)を提案する。エッジデバイスは勾配を1ビットに量子化し、QAMを介して送信するが、エッジサーバーではオーバーザエアメジャリティーベイジングを実行する。主な貢献は、チャネルノイズ、フェージング、推定誤差がバイアスとスケーリング要因を引き起こすが、デバイス数が増加するにつれてその影響が弱まるという収束解析である。

ABSTRACT

Federated edge learning (FEEL) is a popular framework for model training at an edge server using data distributed at edge devices (e.g., smart-phones and sensors) without compromising their privacy. In the FEEL framework, edge devices periodically transmit high-dimensional stochastic gradients to the edge server, where these gradients are aggregated and used to update a global model. When the edge devices share the same communication medium, the multiple access channel (MAC) from the devices to the edge server induces a communication bottleneck. To overcome this bottleneck, an efficient broadband analog transmission scheme has been recently proposed, featuring the aggregation of analog modulated gradients (or local models) via the waveform-superposition property of the wireless medium. However, the assumed linear analog modulation makes it difficult to deploy this technique in modern wireless systems that exclusively use digital modulation. To address this issue, we propose in this work a novel digital version of broadband over-the-air aggregation, called one-bit broadband digital aggregation (OBDA). The new scheme features one-bit gradient quantization followed by digital quadrature amplitude modulation (QAM) at edge devices and over-the-air majority-voting based decoding at edge server. We provide a comprehensive analysis of the effects of wireless channel hostilities (channel noise, fading, and channel estimation errors) on the convergence rate of the proposed FEEL scheme. The analysis shows that the hostilities slow down the convergence of the learning process by introducing a scaling factor and a bias term into the gradient norm. However, we show that all the negative effects vanish as the number of participating devices grows, but at a different rate for each type of channel hostility.

研究の動機と目的

• 複数のデバイスが無線媒体を共有するための通信ボトルネックを解消すること。
• アナログ変調をデジタルQAMに置き換えることで、現代のデジタル無線システムにおけるオーバーザエア集約の実用的導入を可能にすること。
• 同時に送信とオーバーザエア集約を可能にする1ビット量子化およびデジタル変調方式の設計。
• 無線チャネルの劣化要因（ノイズ、フェージング、チャネル状態情報の不完全さ）が、FEELの収束に与える影響の分析。
• デバイス数の増加に伴い、チャネル劣化要因の悪影響が消滅する理論的条件の確立。

提案手法

• 通信オーバーヘッドを低減するため、各エッジデバイスでの1ビット勾配量子化。
• 無線多重アクセスチャネル（MAC）を介したデジタル直交振幅変調（QAM）による送信。
• エッジサーバーでのオーバーザエアメジャリティーベイジングに基づく復元処理による集約勾配の再構築。
• フェージングを軽減し、信頼性の高い送信を確保するための切断されたチャネルインバージョンパワー制御。
• 現実的な無線環境をモデル化するため、有界な推定誤差を有する不完全なチャネル状態情報（CSI）の使用。
• 不完全なCSI、ノイズ、フェージングを想定したビット誤り確率の上限を導出することで、収束劣化の分析を実施。

実験結果

リサーチクエスチョン

• RQ1 1ビットデジタルオーバーザエア集約は、無線多重アクセスチャネルにおけるフェデレーテッドエッジラーニングの収束にどのように影響するか？
• RQ2 チャネルノイズ、フェージング、不完全なチャネル状態情報の影響は、学習収束速度にどのように現れるか？
• RQ3 OBDAフレームワークにおいて、デバイスのスケーリングによって無線チャネル劣化要因の悪影響を軽減できるか？
• RQ4 理想的なチャネル条件のもとでのオーバーザエアコンピューティングを想定した場合と比較して、OBDAの収束特性はどのように異なるか？
• RQ5 デバイス数が、チャネル劣化要因に起因するバイアスおよびスケーリングの低減に果たす役割は何か？

主な発見

• チャネルノイズ、フェージング、チャネル推定誤差は、勾配ノルムにバイアスとスケーリング要因を導入し、収束を遅くする。
• 参加デバイス数が増加するにつれて、バイアスおよびスケーリング効果は弱まり、それぞれの劣化要因で異なる減衰率を示す。
• 不完全なCSI下でのビット誤り確率は有界であり、アクティブデバイス数、信号対ノイズ比、推定誤差分散に依存する。
• 有界なチャネル推定誤差を仮定した場合、不完全なCSIに起因する収束速度劣化は定量的に評価され、デバイス数の増加に伴い消失することが示された。
• 提案されたOBDA方式は、現実的な無線環境下でも収束を維持でき、誤差バウンダリーおよび収束行動に関する理論的保証を有する。
• 分析により、チャネル推定誤差の影響は $ \mathcal{O}(1/\sqrt{K}) $ で減少することが判明した一方、ノイズの影響は $ \mathcal{O}(1/K) $ で減少し、ここで $ K $ はデバイス数を表す。