[論文レビュー] Communication-Efficient Robust Federated Learning Over Heterogeneous Datasets

Yanjie Dong, Georgios B. Giannakis+4 more|arXiv (Cornell University)|Jun 17, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用数 13

ひとこと要約

本稿では、データの非均一性と未知の故障ワーカー数のもとで、より高速な収束を達成する通信効率的でByzantine耐性を持つフェデレーテッドラーニングアルゴリズム（FRPGおよびその局所版LFRPG）を提案する。この手法は、Nesterovの加速技術を活用し、悪意のあるデータ汚染に対しても耐性を確保しながら通信オーバーヘッドを低減する。強凸損失関数のもとで、ベンチマークとなるロバストな確率的集約法よりも理論的に速い収束が保証される。

ABSTRACT

This work investigates fault-resilient federated learning when the data samples are non-uniformly distributed across workers, and the number of faulty workers is unknown to the central server. In the presence of adversarially faulty workers who may strategically corrupt datasets, the local messages exchanged (e.g., local gradients and/or local model parameters) can be unreliable, and thus the vanilla stochastic gradient descent (SGD) algorithm is not guaranteed to converge. Recently developed algorithms improve upon vanilla SGD by providing robustness to faulty workers at the price of slowing down convergence. To remedy this limitation, the present work introduces a fault-resilient proximal gradient (FRPG) algorithm that relies on Nesterov's acceleration technique. To reduce the communication overhead of FRPG, a local (L) FRPG algorithm is also developed to allow for intermittent server-workers parameter exchanges. For strongly convex loss functions, FRPG and LFRPG have provably faster convergence rates than a benchmark robust stochastic aggregation algorithm. Moreover, LFRPG converges faster than FRPG while using the same communication rounds. Numerical tests performed on various real datasets confirm the accelerated convergence of FRPG and LFRPG over the robust stochastic aggregation benchmark and competing alternatives.

研究の動機と目的

• データがワーカー間で非一様に分散している状況下で、故障ワーカー数が未知である場合のフェデレーテッドラーニングの故障耐性を高めること。
• Byzantine攻撃に対する耐性を損なわず、ロバストなフェデレーテッドラーニングの収束速度を向上させること。
• フェデレーテッドラーニングにおける通信オーバーヘッドを低減しながら、悪意あるワーカーに対する耐性を維持すること。
• 強凸損失関数のもとで、既存のロバストな確率的集約法よりも理論的に速い収束を示すアルゴリズムを開発すること。

提案手法

• Byzantineワーカーが存在する状況でも収束速度を向上させるために、Nesterovの加速技術を用いた故障耐性のあるプロキシマル勾配（FRPG）アルゴリズムを提案する。
• サーバーとワーカー間のパラメータ交換を間欠的に行える局所版（LFRPG）を設計し、通信ラウンド数を削減する。
• 故障ワーカーからの信頼性の低い勾配を除外するために、成分ごとの中央値に基づく集約法を採用する。
• Lyapunov解析と再帰的不等式を用いてFRPGおよびLFRPGの収束レートを導出し、初期誤差、勾配分散、ステップサイズパラメータの関数としての境界を確立する。
• 非i.i.d.データのもとで収束を保証するため、問題固有の定数（例：δn, σn², λ, G）に基づく適応的ステップサイズルールを導入する。
• 過去のモデルと勾配の重み付き平均を用いることで、悪意ある摂動の影響を軽減し、更新の安定性と耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Nesterovの加速は、データの非均一性とByzantine故障が存在する状況下でも、ロバストなフェデレーテッドラーニングに効果的に統合可能か？
• RQ2 収束性や耐性を損なわず、Byzantine耐性を持つフェデレーテッドラーニングにおける通信効率をどのように向上できるか？
• RQ3 非i.i.d.データと未知の故障ワーカー数を伴う強凸損失関数のもとで、故障耐性を持つプロキシマル勾配法の理論的収束レートは何か？
• RQ4 局所版（LFRPG）は、フルバージョンのFRPGと比較して、収束速度と通信効率の面でどのように異なるか？
• RQ5 提案手法は、既存のロバストな確率的集約ベンチマークよりも収束速度と耐性の面で優れているか？

主な発見

• FRPGは、強凸損失関数に対してO(1/(K+2)²)の収束速度を達成し、これはベンチマークとなるロバストな確率的集約法よりも理論的に速い。
• LFRPGは、同じ通信ラウンド数のもとでFRPGよりも速く収束する。これは、局所更新メカニズムのおかげである。
• FRPGの収束速度は、初期誤差、勾配分散、問題固有の定数を含む項で抑えられ、残差誤差として追加のO(λ²B²G/δ₀)項が存在する。
• LFRPGは、反復値の平均に対してO(1/T(I+2)²)の収束境界を達成し、最適解からの初期距離と勾配ノイズに明示的な依存関係を持つ。
• 実データセットを用いた数値実験により、FRPGおよびLFRPGがロバストな確率的集約ベンチマークおよび他の競合手法よりも速く収束することが確認された。
• 集約メカニズムが悪意ある更新を効果的に除外できる限り、50％を超えるワーカーが故障していても、この手法は依然として耐性を保つ。