[論文レビュー] Broadband Analog Aggregation for Low-Latency Federated Edge Learning (Extended Version)

Guangxu Zhu, Yong Wang+1 more|arXiv (Cornell University)|Dec 30, 2018

Advanced MIMO Systems Optimization参考文献 34被引用数 38

ひとこと要約

本稿では、複数のエッジデバイスが共有の広帯域チャネルを介して同時にモデル更新を送信できる低遅延マルチアクセス方式であるBroadband Analog Aggregation (BAA)を提案する。BAAは、マルチアクセスチャネルにおける波形重畳の性質を活用して、空中を介したアナログ集約を実現し、従来のOFDMAとは異なり、同時送信とアナログ集約を可能にすることで、通信遅延をデバイス数にほぼ線形に低減する。単一セルのランダムネットワークにおいて、信頼性、切断（truncation）、学習効率の間の理論的トレードオフを定量的に評価している。

ABSTRACT

The popularity of mobile devices results in the availability of enormous data and computational resources at the network edge. To leverage the data and resources, a new machine learning paradigm, called edge learning, has emerged where learning algorithms are deployed at the edge for providing fast and intelligent services to mobile users. While computing speeds are advancing rapidly, the communication latency is becoming the bottleneck of fast edge learning. To address this issue, this work is focused on designing a low latency multi-access scheme for edge learning. We consider a popular framework, federated edge learning (FEEL), where edge-server and on-device learning are synchronized to train a model without violating user-data privacy. It is proposed that model updates simultaneously transmitted by devices over broadband channels should be analog aggregated "over-the-air" by exploiting the superposition property of a multi-access channel. Thereby, "interference" is harnessed to provide fast implementation of the model aggregation. This results in dramatical latency reduction compared with the traditional orthogonal access (i.e., OFDMA). In this work, the performance of FEEL is characterized targeting a single-cell random network. First, due to power alignment between devices as required for aggregation, a fundamental tradeoff is shown to exist between the update-reliability and the expected update-truncation ratio. This motivates the design of an opportunistic scheduling scheme for FEEL that selects devices within a distance threshold. This scheme is shown using real datasets to yield satisfactory learning performance in the presence of high mobility. Second, both the multi-access latency of the proposed analog aggregation and the OFDMA scheme are analyzed. Their ratio, which quantifies the latency reduction of the former, is proved to scale almost linearly with device population.

研究の動機と目的

• 無線チャネルを介した高次元のモデル更新によって引き起こされるフェデレーテッドエッジラーニング（FEEL）における通信ボトルネックを解消すること。
• エッジサーバーでのモデル更新の迅速な集約を可能にする低遅延マルチアクセス方式を設計すること。
• 広帯域無線環境における通信と学習の指標の間のトレードオフを定量化すること。
• 従来のOFDMAと比較して、BAAの遅延低減、信頼性、学習効率の観点での性能を評価すること。
• 敵対的攻撃に対する耐性向上のための拡張と、セル端部の性能向上のためのビームフォーミング統合の検討

提案手法

• 複数のエッジデバイスが共有の広帯域チャネルを介して同時にモデル更新を送信するBroadband Analog Aggregation (BAA)を提案する。
• マルチアクセスチャネルの波形重畳特性を活用して、エッジサーバーでの更新のアナログ集約を実現し、OFDMAなどの直交アクセスを回避する。
• 更新の信頼性（SNR）と更新の切断比のバランスを取るために、切断されたチャネル逆転パワー制御を採用する。
• デバイスの位置を円形セル内に独立同一分布でモデル化し、エッジサーバーからの距離に基づくスケジューリングを採用して信頼性を向上させる。
• 条件付き期待値とオーダー統計を用いて、すべてのデバイスを含むスケジューリングとセル内スケジューリングの両方における受信SNRの期待値を導出する。
• フェージングとパスロスの影響をSNR式にモデル化するために、一般化されたMarcum Q関数と指数積分関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 BAAはフェデレーテッドエッジラーニングにおいて、従来のOFDMAと比較してどのように通信遅延を低減するか？
• RQ2 BAAにおける更新の信頼性（SNR）、更新の切断比、学習効率の間にはどのようなトレードオフが存在するか？
• RQ3 セル内スケジューリングは、受信SNRと学習に使用されるデータの割合のトレードオフにどのように影響するか？
• RQ4 遅延低減のスケーリング特性は、エッジデバイス数の関数としてどのように変化するか？
• RQ5 BAAは、敵対的攻撃に対する耐性向上とセル端部性能の向上のため、どのように拡張可能か？

主な発見

• BAAがOFDMAに対して示す遅延低減比は、エッジデバイス数にほぼ線形にスケーリングされ、大規模な展開において顕著な高速化を実現する。
• BAAは、切断されたチャネル逆転パワー制御に起因して、更新の信頼性（受信SNR）と期待される更新の切断比の間のトレードオフを導入する。
• セル内スケジューリングでは、受信SNRと学習に使用されるデータの割合の間のトレードオフが生じる。後者はセルの半径とデバイスの分布に依存する。
• すべてのデバイスを含むBAAにおける期待受信SNRは、$\mathbb{E}(\rho_0) = \frac{2K}{2K - \alpha} \frac{P_0}{MR^\alpha \text{Ei}(g_{\text{th}})}$ として導出され、$2K - \alpha - 1 \geq 0$ の条件下で収束する。
• セル内スケジューリングの場合は、$k \geq 2$ の範囲で $\frac{2k}{2k - \alpha}$ の重み付き平均 $c(R_{\text{in}})$ として期待SNRが表現され、$\alpha = 3$ かつ $K$ が大きい場合に $1 \leq c(R_{\text{in}}) \leq 4$ となる。
• ニューラルネットワークと実データセットを用いた実験により、理論的結果が妥当であることが裏付けられ、BAAの実世界における性能向上が検証された。