[論文レビュー] Relay-Assisted Cooperative Federated Learning

Zehong Lin, Hang Liu+1 more|arXiv (Cornell University)|Jul 20, 2021

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、半二重アンプ・アンド・フォワードリレーめいたり、空中でフェデレーテッド・ラーニング（FL）における遅延者問題を軽減する協調的フェデレーテッド・ラーニング方式を提案する。変復調器およびリレー動作を交互最適化アルゴリズムにより最適化することで、最先端の手法と比較して、モデル集約誤差を低減し、収束速度を向上させることができる。特にリレーの送信電力およびチャネル利得が十分に高い場合に顕著な効果を示す。

ABSTRACT

Federated learning (FL) has recently emerged as a promising technology to enable artificial intelligence (AI) at the network edge, where distributed mobile devices collaboratively train a shared AI model under the coordination of an edge server. To significantly improve the communication efficiency of FL, over-the-air computation allows a large number of mobile devices to concurrently upload their local models by exploiting the superposition property of wireless multi-access channels. Due to wireless channel fading, the model aggregation error at the edge server is dominated by the weakest channel among all devices, causing severe straggler issues. In this paper, we propose a relay-assisted cooperative FL scheme to effectively address the straggler issue. In particular, we deploy multiple half-duplex relays to cooperatively assist the devices in uploading the local model updates to the edge server. The nature of the over-the-air computation poses system objectives and constraints that are distinct from those in traditional relay communication systems. Moreover, the strong coupling between the design variables renders the optimization of such a system challenging. To tackle the issue, we propose an alternating-optimization-based algorithm to optimize the transceiver and relay operation with low complexity. Then, we analyze the model aggregation error in a single-relay case and show that our relay-assisted scheme achieves a smaller error than the one without relays provided that the relay transmit power and the relay channel gains are sufficiently large. The analysis provides critical insights on relay deployment in the implementation of cooperative FL. Extensive numerical results show that our design achieves faster convergence compared with state-of-the-art schemes.

研究の動機と目的

• 弱い無線チャネルがモデル集約誤差を支配する空中フェデレーテッド・ラーニングにおける遅延者問題に対処すること。
• 上行リンク伝送の信頼性を向上させることで、エッジAIにおける通信効率と収束速度を向上させるリレー協調を活用すること。
• 遅延者を除外する既存の手法の制限を克服し、トレーニングデータの多様性を損なわず、収束を遅くしないこと。
• リレー支援型空中FLシステムにおける変復調器およびリレー動作の低複雑性最適化フレームワークを設計すること。
• 単一リレー状況におけるモデル集約誤差の理論的分析を提供し、実用的なリレー配置を支援すること。

提案手法

• 複数の半二重アンプ・アンド・フォワードリレーを導入し、モバイルデバイスがローカルモデル更新をエッジサーバーにアップロードするのを支援する。
• モデル集約誤差を最小化するため、デバイスのプレコーディング、リレーのビームフォーミング、および電力割当を連携最適化問題として定式化する。
• 低複雑性で実現可能な交互最適化に基づくアルゴリズムを提案し、変復調器およびリレーパrameterを分離して反復的に最適化する。
• 特に単一リレー状況において、異なるチャネル利得および電力条件下でのモデル集約誤差の閉形式表現を導出する。
• 信号対雑音比（SNR）の閾値を用いた誤差性能分析を行い、リレーSNRおよびチャネル利得が十分に高い場合、リレー支援型方式が非リレー方式を上回ることを示す。
• SNRに基づく不等式を用いて誤差低減の十分条件を確立し、リレー性能と全体的な集約精度の関係を明示する。

実験結果

リサーチクエスチョン

• RQ1 リレー支援型空中フェデレーテッド・ラーニングは、リレーを含まない従来の方式と比較して、モデル集約誤差を低減できるか？
• RQ2 リレーの導入が空中FLシステムにおける低い集約誤差をもたらす条件は何か？
• RQ3 変復調器およびリレー動作をどのように連携最適化することで、低計算複雑性でモデル集約誤差を最小化できるか？
• RQ4 リレー送信電力およびリレーからAPへのチャネル利得が、協調的フェデレーテッド・ラーニングの性能に与える影響は何か？
• RQ5 特に遅延者をトレーニングに含めた場合、提案手法は最先端手法と比較して収束速度を維持または向上させるか？

主な発見

• リレー送信電力およびリレーからAPへのチャネル利得が十分に高い場合、リレー支援型方式は非リレー方式よりも小さいモデル集約誤差を達成する。
• 提案された交互最適化アルゴリズムは、システム複雑性を著しく低減しつつ、誤差最小化の高い性能を維持する。
• 理論的分析により、モデル集約誤差がデバイスチャネル利得、リレー電力、雑音の関数として有界であることが示され、性能向上のための明示的なSNR閾値が特定された。
• 誤差低減の十分条件として、SNR_{relay-AP} ≥ (K·min_SN R_k + δ) · min{1, 2ᾱ² / (1 - 2ᾱ²δ)} が導出された。ここで δ = min|h_k|² / min|g_k|² である。
• 広範な数値結果により、提案手法が最先端手法よりも収束が速いことが確認された。特に高フェージングまたは高遅延者状況で顕著な効果を示す。
• 分析により、最適なリレー配置はデバイスチャネル品質とリレー回線の信頼性のバランスを取ることが必要であり、有利なリレーチャネル条件では性能向上が顕著に増幅されることが明らかになった。