[論文レビュー] Robust Federated Learning with Connectivity Failures: A Semi-Decentralized Framework with Collaborative Relaying

Michal Yemini, Rajarshi Saha+3 more|arXiv (Cornell University)|Feb 24, 2022

Cooperative Communication and Network Coding被引用数 8

ひとこと要約

本稿では、クライアント同士が互いのモデル更新を仲介して中央のパrameterサーバーに送信することを可能にする、準分散型のフェデレーテッドラーニングフレームワークを提案する。これにより、断続的な接続性によって引き起こされる性能劣化を緩和する。局所的共通認識重みを最適化することで、最小分散かつ不偏なグローバル更新を保証し、遮断が生じる無線ネットワークにおいて収束性能が著しく向上する。mmWave環境下でのCIFAR-10を用いた評価により、その有効性が検証された。

ABSTRACT

Intermittent connectivity of clients to the parameter server (PS) is a major bottleneck in federated edge learning frameworks. The lack of constant connectivity induces a large generalization gap, especially when the local data distribution amongst clients exhibits heterogeneity. To overcome intermittent communication outages between clients and the central PS, we introduce the concept of collaborative relaying wherein the participating clients relay their neighbors' local updates to the PS in order to boost the participation of clients with poor connectivity to the PS. We propose a semi-decentralized federated learning framework in which at every communication round, each client initially computes a local consensus of a subset of its neighboring clients' updates, and eventually transmits to the PS a weighted average of its own update and those of its neighbors'. We appropriately optimize these local consensus weights to ensure that the global update at the PS is unbiased with minimal variance - consequently improving the convergence rate. Numerical evaluations on the CIFAR-10 dataset demonstrate that our collaborative relaying approach outperforms federated averaging-based benchmarks for learning over intermittently-connected networks such as when the clients communicate over millimeter wave channels with intermittent blockages.

研究の動機と目的

• パrameterサーバーへのクライアントの断続的接続性によって引き起こされるフェデレーテッドラーニングの性能劣化を是正すること、特に無線チャネルの遮断が生じる環境下での課題に焦点を当てる。
• クライアントが直接通信リンクを失うようなストラグルな環境において、従来のフェデレーテッドアベレージの限界を克服すること。
• クライアント間の協力を活用して更新をリレーすることで、接続障害があっても継続的な参加を可能にする耐障害性の高い学習フレームワークを設計すること。
• 最適化された局所的共通認識重みを用いて、不偏なグローバル更新を理論的に保証し、分散を最小限に抑えること。
• 実用的な無線エッジラーニングシナリオ、例えばmmWaveやモバイルロボットネットワークなどにおいて、収束性と一般化性能の向上を実証すること。

提案手法

• 各クライアントが自身の隣接クライアントの更新情報を局所的に共通認識し、それをパrameterサーバーに転送する準分散型FLフレームワークを導入する。
• 各クライアントは、自身の更新と接続済みの隣接クライアントの更新の重み付き平均を送信し、重みは分散を最小化し、弱い不偏性を確保するように最適化される。
• 信頼性と収束速度のバランスを取るために、凸最適化の定式化を用いて最適なリレー重みを計算する。
• 全重み合計の制約下で重み選択問題を解くために、Karush–Kuhn–Tucker条件を適用する。
• クライアント間の通信を確率的リンクとしてモデル化し、ネットワークをグラフとして表現する。信頼性は送信成功確率で表現される。
• リンク信頼性をモデル化し、最適化目的関数に期待値を組み込むことで、チャネル遮断の影響を反映する。

実験結果

リサーチクエスチョン

• RQ1 直接的なパrameterサーバー接続が断続的に遮断される状況下で、クライアント側の協力がフェデレーテッドラーニングの収束性をどのように向上させるか？
• RQ2 グローバル更新が不偏かつ分散が最小となるように、クライアント自身の更新と隣接クライアントの更新をどのように重みづけるべきか？
• RQ3 mmWaveシステムのような高い遮断率を示す無線ネットワークにおいて、協調リレーリングは標準的なフェデレーテッドアベレージを上回る性能を示せるか？
• RQ4 動的かつ不安定な接続性下でも、提案された準分散型フレームワークが収束保証をどのように維持できるか？
• RQ5 リレー重みの最適化が、非i.i.d.かつストラグルなフェデレーテッドラーニング環境下での一般化ギャップに与える理論的影響は何か？

主な発見

• 提案された協調リレーリングフレームワークは、特にmmWave遮断環境下で、標準的なフェデレーテッドアベレージに比べて著しく高速な収束を達成する。
• リレー重みの最適化により、グローバル更新の弱い不偏性が保証され、学習アルゴリズムの収束性が維持される。
• 接続性が悪いクライアントによる遅延または欠落した更新が引き起こす一般化ギャップが軽減される。
• CIFAR-10を用いた数値的評価では、断続的接続性下において、テスト精度と収束速度の両面でベンチマークを上回ることを示した。
• 理論的分析により、目的関数がリレー重みに関して凸であることが確認され、KKT条件を用いた効率的かつ安定した最適化が可能であることが示された。
• 下位の学習アルゴリズムや中央集権的制御の変更なしに、通信ストラグルの影響を効果的に緩和できる。