[論文レビュー] User Selection Approaches to Mitigate the Straggler Effect for Federated Learning on Cell-Free Massive MIMO Networks.

Tung T. Vu, Duy T. Ngo+4 more|arXiv (Cornell University)|Sep 4, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用数 12

ひとこと要約

本稿は、上行リンクおよび下行リンクの両フェーズにおいてスローワー（遅延する）端末の影響を軽減することで、セルフリース massive MIMO ネットワークにおけるフェデレーテッドラーニング（FL）の学習時間を短縮するためのユーザ機器（UE）選択戦略を提案する。確率的非凸最適化フレームワークを用いて、UE選択、送信電力、データレートを共同最適化することで、提案されたオンライン逐次凸近似アルゴリズムは、特にアクセスポイント密度が低い状況において顕著な学習時間短縮を達成する。

ABSTRACT

This work proposes UE selection approaches to mitigate the straggler effect for federated learning (FL) on cell-free massive multiple-input multiple-output networks. To show how these approaches work, we consider a general FL framework with UE sampling, and aim to minimize the FL training time in this framework. Here, training updates are (S1) broadcast to all the selected UEs from a central server, (S2) computed at the UEs sampled from the selected UE set, and (S3) sent back to the central server. The first approach mitigates the straggler effect in both Steps (S1) and (S3), while the second approach only Step (S3). Two optimization problems are then formulated to jointly optimize UE selection, transmit power and data rate. These mixed-integer mixed-timescale stochastic nonconvex problems capture the complex interactions among the training time, the straggler effect, and UE selection. By employing the online successive convex approximation approach, we develop a novel algorithm to solve the formulated problems with proven convergence to the neighbourhood of their stationary points. Numerical results confirm that our UE selection designs significantly reduce the training time over baseline approaches, especially in the networks that experience serious straggler effects due to the moderately low density of access points.

研究の動機と目的

• 遅延するか信頼性の低い UE が学習収束を遅らせるセルフリー massive MIMO ネットワーク上でのフェデレーテッドラーニングにおけるスローワー効果に対処する。
• 複数の時間スケールにわたる UE 選択、送信電力、データレートの最適化により、合計 FL 学習時間を最小化する。
• 学習効率、スローワー効果の軽減、リソース割り当てのトレードオフをモデル化するため、2 つの混合整数・混合時間スケール確率的非凸最適化問題を定式化する。
• 現実的なネットワーク制約下で、複雑な最適化問題を解くスケーラブルで収束性を有するアルゴリズムを開発する。
• 特にアクセスポイント密度が低い状況において、ベースライン手法と比較した場合の提案された UE 選択戦略の性能向上を評価する。

提案手法

• 中央サーバが選択された UE にモデル更新をブロードキャストする一般化された FL フレームワークを定式化する（S1）。
• S1 および S3 の両方でスローワーを軽減する 1 つの UE 選択アプローチと、S3 のみをターゲットにするもう 1 つのアプローチを提案し、複雑さと性能の間で柔軟なトレードオフを実現する。
• UE 選択、電力割り当て、データレートの適応の動的相互作用を捉えるために、混合整数・混合時間スケール確率的非凸プログラムとして最適化問題をモデル化する。
• 非凸問題を繰り返し解くためにオンライン逐次凸近似（OSCA）法を適用し、定常点の近傍への収束を保証する。
• リアルタイムのチャネル状態情報と UE の信頼性に関する統計的知識を統合し、UE 選択および電力制御の意思決定を支援する。
• 学習中の UE サンプリングおよびチャネル変動の内在的なランダム性を扱うために、確率的近似技術を用いる。

実験結果

リサーチクエスチョン

• RQ1 セルフリー massive MIMO ネットワークにおけるフェデレーテッドラーニングの上行リンクおよび下行リンクフェーズにおいて、UE 選択戦略をどのように設計すればスローワー効果を効果的に軽減できるか。
• RQ2 UE 選択、送信電力、データレートの共同最適化が、合計 FL 学習時間を短縮する上で果たす影響は何か。
• RQ3 アクセスポイント密度が低いネットワークでは、スローワー効果が顕著に現れるが、提案されたアルゴリズムはそのような状況でどのように性能を発揮するか。
• RQ4 提案手法は、ベースラインの UE 選択方式と比較して、どの程度学習時間短縮に優れているか。
• RQ5 提示された非凸最適化問題にオンライン逐次凸近似アルゴリズムを適用した場合、どのような収束特性を示すか。

主な発見

• 提案された UE 選択アプローチは、特にアクセスポイント密度がやや低いネットワークにおいて、ベースライン手法と比較して顕著に FL 学習時間を短縮する。
• 上行リンクおよび下行リンクの両方でスローワーを軽減するアプローチは、上行リンクのみをターゲットにするものよりも、より大きな学習時間短縮を達成する。
• 数値結果により、オンライン逐次凸近似アルゴリズムが定常点の近傍に収束することが確認され、安定的で信頼性の高い最適化性能が保証される。
• UE 選択、送信電力、データレートの共同最適化により、ネットワークリソースのより効率的な利用と向上した学習スループットが実現される。
• UE の計算能力およびチャネル状態に高いばらつきが生じる状況において、性能向上が最も顕著に現れ、実世界のネットワークダイナミクスに強いことが示された。
• 提案手法は、顕著な学習時間短縮を達成する一方で、低コストの計算負荷を維持しており、大規模なセルフリー massive MIMO システムへの実用的導入に適している。