[論文レビュー] Federated Learning over Wireless Device-to-Device Networks: Algorithms and Convergence Analysis

Hong Xing, Osvaldo Simeone+1 more|arXiv (Cornell University)|Jan 29, 2021

Privacy-Preserving Technologies in Data参考文献 55被引用数 114

ひとこと要約

本稿は、ランダム線形符号化（RLC）および空中計算（AirComp）を活用して、デバイス間（D2D）ネットワーク上のフェデレーテッドラーニングにおける分散型確率的勾配降下法（DSGD）のデジタルおよびアナログ無線実装を提案する。収束バウンドを確立し、最適性ギャップがネットワーク接続性および信号対雑音比（SNR）に依存することを示し、凸性および接続性の仮定の下で理論的保証とともに、画像分類タスクにおける実験で検証された。

ABSTRACT

The proliferation of Internet-of-Things (IoT) devices and cloud-computing applications over siloed data centers is motivating renewed interest in the collaborative training of a shared model by multiple individual clients via federated learning (FL). To improve the communication efficiency of FL implementations in wireless systems, recent works have proposed compression and dimension reduction mechanisms, along with digital and analog transmission schemes that account for channel noise, fading, and interference. The prior art has mainly focused on star topologies consisting of distributed clients and a central server. In contrast, this paper studies FL over wireless device-to-device (D2D) networks by providing theoretical insights into the performance of digital and analog implementations of decentralized stochastic gradient descent (DSGD). First, we introduce generic digital and analog wireless implementations of communication-efficient DSGD algorithms, leveraging random linear coding (RLC) for compression and over-the-air computation (AirComp) for simultaneous analog transmissions. Next, under the assumptions of convexity and connectivity, we provide convergence bounds for both implementations. The results demonstrate the dependence of the optimality gap on the connectivity and on the signal-to-noise ratio (SNR) levels in the network. The analysis is corroborated by experiments on an image-classification task.

研究の動機と目的

• ノイズ、フェージング、干渉などの現実的なチャネル劣化が生じる状況下で、無線D2Dフェデレーテッドラーニングの理論的収束解析が不足しているという問題に対処すること。
• デジタル（RLCベースの圧縮）およびアナログ（AirComp）伝送を用いて、無線D2Dネットワークにおける分散型FLの通信効率の高いDSGDアルゴリズムを開発すること。
• 凸および接続されたネットワークの仮定の下で、これらの実装の収束を分析し、SNRおよびネットワーク接続性が最適性ギャップに与える影響を定量化すること。
• 物理層の劣化および一般のスケジューリング／パワー割り当てポリシーを考慮した理論的性能バウンドを提供し、従来の理想またはノイズレスチャネルに限定された先行研究を拡張すること。
• 画像分類タスクにおける実験を通じて理論的 findings を検証し、提案された無線DSGDフレームワークの実用的妥当性を示すこと。

提案手法

• 勾配の圧縮にランダム線形符号化（RLC）を用いるデジタル無線DSGD実装を提案し、通信オーバーヘッドを低減しながらモデル精度を維持する。
• 波形重畳を介して無線媒質上で同時に勾配を送信できる空中計算（AirComp）に基づくアナログ無線DSGD実装を導入する。
• 凸目的関数の下で、両実装の収束バウンドを導出する。ラプラス型の解析を用いて、コンSENSUS誤差および最適性ギャップを追跡する。
• チャネルノイズ、フェージング、干渉の影響を信号対雑音比（SNR）およびネットワーク接続性パラメータでモデル化する、革新的な分析フレームワークを導入する。
• 修正されたCHOCO-SGDアルゴリズムをベースラインとして採用し、圧縮およびコンセンサスメカニズムを統合し、収束解析を無線環境に拡張する。
• 時間変動型の学習率ポリシーを採用し、誤差フィードバック機構を組み込んで、圧縮およびチャネルノイズの収束への影響を制限する。

実験結果

リサーチクエスチョン

• RQ1 無線チャネルのノイズおよびフェージングは、デバイス間（D2D）フェデレーテッドラーニングネットワークにおける分散型確率的勾配降下法（DSGD）の収束にどのように影響するか？
• RQ2 ネットワーク接続性および信号対雑音比（SNR）が、無線DSGD実装における最適性ギャップに与える理論的影響は何か？
• RQ3 空中計算（AirComp）は、個々の送信を復号しないまま、効率的かつ同時に勾配を集約可能か？
• RQ4 実用的な物理層制約下で、ランダム線形符号化（RLC）のような圧縮技術は、無線D2DFLにおける収束にどのように影響するか？
• RQ5 収束速度およびチャネル劣化に対するロバストネスの観点から、アナログとデジタル無線DSGDの性能限界は何か？

主な発見

• 提案されたデジタルおよびアナログDSGD実装の収束は理論的にバウンドされ、最適性ギャップがネットワーク接続性およびSNRに反比例することが示された。
• 分析により、最適性ギャップは、ネットワークのラプラシアン行列の最小固有値の逆数に依存する項によって上界で抑えられ、接続性の影響を反映していることが分かった。
• AirCompを用いたアナログ実装では、ノイズに起因する誤差床に制限され、適切なパワーおよびスケジューリングポリシーのもとで制御可能であることが示された。
• デジタルRLCベースの実装では、収束速度が学習率の二乗および圧縮誤差に比例し、SNRおよびネットワークトポロジーに依存するバウンドが得られた。
• 画像分類タスクにおける実験結果は、理論的予測を確認し、さまざまなSNRおよび接続性レベル下で安定した収束を示した。
• 導出された収束バウンドは、一般のスケジューリングおよびパワー割り当てポリシーに対してロバストであり、実世界の無線D2Dネットワークへの適用可能性を示した。