[論文レビュー] Over-the-Air Aggregation for Federated Learning: Waveform Superposition and Prototype Validation

Huayan Guo, Yifan Zhu+6 more|arXiv (Cornell University)|Oct 27, 2021

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、共有無線リソース上で多数のIoTデバイスからの局所的勾配をアナログ波形の重ね合わせで実現する、OFDMベースのオール・オール・オーバー・エア（OTA）集約フレームワークを提案する。独自の複数アクセスプロトコルを用いた2段階の波形事前等化技術により、タイミングオフセットおよび周波数オフセットを低減し、実世界のRSS予測タスクにおいて、オフライン学習と同等の収束性能と高い予測精度を達成した。

ABSTRACT

In this paper, we develop an orthogonal-frequency-division-multiplexing (OFDM)-based over-the-air (OTA) aggregation solution for wireless federated learning (FL). In particular, the local gradients in massive IoT devices are modulated by an analog waveform and are then transmitted using the same wireless resources. To this end, achieving perfect waveform superposition is the key challenge, which is difficult due to the existence of frame timing offset (TO) and carrier frequency offset (CFO). In order to address these issues, we propose a two-stage waveform pre-equalization technique with a customized multiple access protocol that can estimate and then mitigate the TO and CFO for the OTA aggregation. Based on the proposed solution, we develop a hardware transceiver and application software to train a real-world FL task, which learns a deep neural network to predict the received signal strength with global positioning system information. Experiments verify that the proposed OTA aggregation solution can achieve comparable performance to offline learning procedures with high prediction accuracy.

研究の動機と目的

• 限られた無線リソース上で多数のIoTデバイスがアップリンク集約を行うことで生じるスケーラビリティのボトルネックを解消すること。
• オール・オール・オーバー・エア集約におけるフレームタイミングオフセット（TO）およびキャリア周波数オフセット（CFO）に起因する波形重ね合わせ歪みを克服すること。
• 実世界のFLシナリオにおけるOTA集約を検証可能な実装可能なハードウェアプロトタイプ（変復調器およびソフトウェアスタックを含む）を開発すること。
• GPSおよびRSSデータを用いた実世界の信号強度予測タスクにおいて、オフライン集約と同等のFL収束性能を達成すること。

提案手法

• 局所的勾配をアナログ波形として変調し、同じ無線リソースブロックを介して送信するOFDMベースのOTA集約システムを設計する。
• 送信側でフレームタイミングオフセット（TO）およびキャリア周波数オフセット（CFO）を推定・補償するための2段階の波形事前等化技術を実装する。
• アクセスポイント（AP）でTOおよびCFOを同時に推定できるカスタム多重アクセスプロトコルを導入し、正確な重ね合わせを可能にする。
• Xilinx ZCU102/ZC706 SoCとAD9361 RFフロントエンドを用いたハードウェア変復調器プラットフォームを活用し、リアルタイムのベースバンド処理と信号送信を実現する。
• ホストPCとAP間でのモデル交換を実現するTCP/IPを用いたフルスタックのアプリケーションレイヤープrotocolを展開し、OTA勾配集約を伴う反復的FL学習を可能にする。
• GPS座標から受信信号強度（RSS）を予測するための全結合ニューラルネットワーク（3層の隠れ層を有する）を設計し、OTA集約を用いて学習する。

Figure 1: Illustration of the over-the-air aggregation federated learning system. Sensors train the local NN with local dataset and upload the gradients. The gradients are aggregated in a wireless channel with an analog waveform and are received by the access point (AP). The aggregated gradients are

実験結果

リサーチクエスチョン

• RQ1 アナログ波形重ね合わせによるオール・オール・オーバー・エア集約は、実世界の無線環境において、オフライン集約と同等のFL収束を達成できるか？
• RQ2 フレームタイミングオフセット（TO）およびキャリア周波数オフセット（CFO）は、OTA-FLにおける波形重ね合わせにどのように悪影響を及ぼすか？また、それらは効果的に低減可能か？
• RQ3 提案された2段階の事前等化技術は、重ね合わせ歪みをどの程度低減し、集約精度を向上させられるか？
• RQ4 リアルタイムのベースバンド処理を備えたハードウェアプロトタイプは、数百万のモデルパラメータを含む実用的FLタスクにおける信頼性の高いOTA集約を実現できるか？
• RQ5 OTAで学習されたDNNの実世界のRSS予測タスクにおける予測精度はどの程度で、オフライン学習と比較してどうなるか？

主な発見

• 提案されたOTA集約ソリューションは、学習損失曲線から示されるように、収束速度および最終的なモデル性能がオフライン学習と同等であることが確認された。
• テスト領域全体における正規化平方予測誤差（NMSE）は、大多数の位置で0.005未満であり、AP付近では訓練データが疎であるためわずかな劣化が見られた。
• プロトタイプは、OTA集約を用いてGPSデータからRSSを予測する深層ニューラルネットワークを正常に学習し、実世界での展開可能性を実証した。
• 2段階の事前等化技術により、ハードウェアの不完全性にもかかわらず、TOおよびCFOが効果的に低減され、正確な波形重ね合わせが実現された。
• 従来のOTA手法で見られる1/Nの効率損失を避けるためにスプリアスシーケンスを用いないことで、スペクトル効率を高めた。
• Xilinx SoCおよびAD9361 RFフロントエンドを基盤とするハードウェアプロトタイプは、リアルタイムの勾配集約を伴うエンドツーエンドのOTA-FL動作を正常に実現した。

Figure 2: Phase response of the effective OTA aggregation channel of $k$ -th sensor.