[論文レビュー] Edge Federated Learning Via Unit-Modulus Over-The-Air Computation (Extended Version)

Shuai Wang, Yuncong Hong+4 more|arXiv (Cornell University)|Jan 28, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用数 8

ひとこと要約

本論文は、アナログビームフォーミングを用いて複雑なベースバンド処理を回避することで、低遅延なモデル集約を実現する、エッジフェデレーテッドラーニング向けのユニットモジュラス・オーバーザエアコンピューティング（UM-AirComp）フレームワークを提案する。新規の最適化アルゴリズムPAMおよびAGPを用いることで、低い学習損失と高速な収束を達成し、自律走行シミュレーションで検証された。モデルの精度はパrameterの誤差に極めて敏感であることが示された。

ABSTRACT

Edge federated learning (FL) is an emerging machine learning paradigm that trains a global parametric model from distributed datasets via wireless communications. This paper proposes a unit-modulus over-the-air computation (UM-AirComp) framework to facilitate efficient edge federated learning, which simultaneously uploads local model parameters and updates global model parameters via analog beamforming. The proposed framework avoids sophisticated baseband signal processing, leading to low communication delays and implementation costs. A training loss bound of UM-AirComp is derived and two low-complexity algorithms, termed penalty alternating minimization (PAM) and accelerated gradient projection (AGP), are proposed to minimize the nonconvex nonsmooth loss bound. Simulation results show that the proposed UM-AirComp framework with PAM algorithm not only achieves a smaller mean square error of model parameters' estimation, training loss, and testing error, but also requires a significantly shorter runtime than that of other benchmark schemes. Moreover, the proposed UM-AirComp framework with AGP algorithm achieves satisfactory performance while reduces the computational complexity by orders of magnitude compared with existing optimization algorithms. Finally, we demonstrate the implementation of UM-AirComp in a vehicle-to-everything autonomous driving simulation platform. It is found that autonomous driving tasks are more sensitive to model parameter errors than other tasks since the former neural networks are more sophisticated containing sparser model parameters.

研究の動機と目的

• 複雑なベースバンド処理に起因するエッジフェデレーテッドラーニングにおける高い通信遅延と実装コストを解消すること。
• オーバーザエアコンピューティングを用いて、無線チャネルを介したローカルモデルパラメータの効率的集約を可能にすること。
• UM-AirCompフレームワークにおける非凸で滑らかでない学習損失を最小化する低複雑度の最適化アルゴリズムの設計。
• 自律走行のような高精度応用分野における実世界条件でのフレームワークのロバストネスの評価。
• 車両対すべて（V2X）の自律走行シミュレーションプラットフォームにおけるUM-AirCompの実現可能性と性能の実証。

提案手法

• アナログビームフォーミングを用いて、ローカルモデルパラメータとグローバルモデルアップデートを同時に上行伝送できるユニットモジュラス・オーバーザエアコンピューティング（UM-AirComp）フレームワークを導入。
• 一定包絡線を維持するユニットモジュラス信号方式を採用し、ハードウェアの複雑さを低減するとともに、エネルギー効率の高い無線集約を実現。
• UM-AirCompフレームワークの理論的学習損失バウンドを導出することで、最適化の指針と収束の保証を図る。
• 非凸で滑らかでない最適化問題を解くためのペナルティ交互最小化（PAM）を提案し、収束性と推定精度を向上。
• 計算複雑度を著しく低減しながらも高い性能を維持するための加速勾配射影（AGP）を導入。
• モデルパラメータ推定誤差への感受性を評価するために、現実的で包括的な車両対すべて（V2X）の自律走行シミュレーションプラットフォームでフレームワークを検証。

実験結果

リサーチクエスチョン

• RQ1 UM-AirCompは、従来のFL方式と比較して、学習損失、モデル推定誤差、実行時間効率の点でどのように異なるか？
• RQ2 提案されたPAMアルゴリズムは、エッジFLにおける非凸で滑らかでない最適化において、収束性と推定精度をどの程度向上させるか？
• RQ3 AGPアルゴリズムは、従来の最適化アルゴリズムと比較して計算複雑度を桁違いに低減しながら、同等の性能を達成できるか？
• RQ4 自律走行タスクにおける複雑でスパースなニューラルネットワークは、オーバーザエア集約におけるモデルパラメータ推定誤差に対してどの程度感受性を示すか？
• RQ5 実世界のV2X自律走行シミュレーションにおいて、UM-AirCompの実用的実現可能性と性能はいかがなものか？

主な発見

• PAMを用いたUM-AirCompフレームワークは、ベンチマーク手法と比較して、モデルパラメータ推定における平均二乗誤差が小さい。
• UM-AirCompフレームワーク下でPAMアルゴリズムを用いることで、学習損失とテスト誤差が顕著に低減された。
• PAMに基づくUM-AirComp方式は、既存のベンチマーク手法と比較して、実行時間の点で著しく短縮された。
• AGPアルゴリズムは、従来の最適化アルゴリズムと比較して計算複雑度を桁違いに低減しながらも、満足できる性能を維持した。
• 自律走行タスクでは、ニューラルネットワークの複雑さとスパarsityのため、モデルパラメータ推定誤差に対して高い感受性を示した。
• UM-AirCompフレームワークは、車両対すべて（V2X）の自律走行シミュレーションプラットフォームにおいて、実用的実現可能性と高いロバストネスを示した。