[論文レビュー] FedDR -- Randomized Douglas-Rachford Splitting Algorithms for Nonconvex Federated Composite Optimization

Quoc Tran-Dinh, Nhan H. Pham+2 more|arXiv (Cornell University)|Mar 5, 2021

Sparse and Compressive Sensing Techniques参考文献 49被引用数 12

ひとこと要約

本稿では、非凸ファederated複合最適化のための、新しいランダム化ブロック座標Douglas-Rachford分割アルゴリズムであるFedDRとasyncFedDRを提案する。非凸DR分割と部分的かつ非同期的なユーザー参加を統合することで、理論的下界に一致する$Ó(\varepsilon^{-2})$の通信複雑性を達成するとともに、統計的・システム的非均一性、滑らかでない凸正則化子、不正確な近位評価を処理できる。

ABSTRACT

We develop two new algorithms, called, FedDR and asyncFedDR, for solving a fundamental nonconvex composite optimization problem in federated learning. Our algorithms rely on a novel combination between a nonconvex Douglas-Rachford splitting method, randomized block-coordinate strategies, and asynchronous implementation. They can also handle convex regularizers. Unlike recent methods in the literature, e.g., FedSplit and FedPD, our algorithms update only a subset of users at each communication round, and possibly in an asynchronous manner, making them more practical. These new algorithms can handle statistical and system heterogeneity, which are the two main challenges in federated learning, while achieving the best known communication complexity. In fact, our new algorithms match the communication complexity lower bound up to a constant factor under standard assumptions. Our numerical experiments illustrate the advantages of our methods over existing algorithms on synthetic and real datasets.

研究の動機と目的

• 通信のボトル neck を軽減し、ファederated学習におけるシステム非均一性に対処するため、通信ラウンドごとに部分的なユーザー参加を可能にする。
• FedSplit や FedPD のような既存手法の制限を克服する。これらの手法は全ユーザー参加を必要とし、実世界の設定ではあまり実用的ではない。
• 凸正則化子と不正確な近位評価をサポートする、スケーラブルで頑健な非凸ファederated複合最適化のフレームワークを構築する。
• 標準的な仮定のもとで最適な通信複雑性を達成しつつ、非均一な環境でも収束保証を維持する。
• 非同期更新を可能にすることで、遅延ユーザー（stragglers）や変動するネットワーク状態に起因する待機時間を削減し、システムの耐障害性を向上させる。

提案手法

• 非凸複合最適化のためのランダム化ブロック座標Douglas-Rachford分割アルゴリズムであるFedDRを提案する。
• 通信ラウンドごとにランダムにユーザーを選択することで、通信オーバーヘッドを低減し、スケーラビリティを向上させる。
• サーバー側の集約に、標準的な平均化とは異なり、正則化子における近位勾配ステップを用いる。これにより、制約や正則化の処理がより効果的に可能になる。
• ユーザーが独立して更新し、不規則な間隔で更新を送信できる非同期バージョンであるasyncFedDRを導入する。
• 調整された学習率とローカルエポック数を用いたSGDにより、近位演算子の不正確な評価を効率的に近似する。
• 勾配の有界性と勾配のリプシッツ連続性といった標準的な仮定のもとで、収束保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化ブロック座標Douglas-Rachford分割法は、部分的ユーザー参加を伴う非凸ファederated学習において、最適な通信複雑性を達成できるか？
• RQ2 提案手法FedDRは、統計的・システム的非均一性の下で、FedAvg、FedProx、FedSplit、FedPDと比較してどのように性能を発揮するか？
• RQ3 非同期バージョンであるasyncFedDRは、現実のネットワーク条件のもとで、FedDRと同等の収束速度と通信複雑性を維持できるか？
• RQ4 SGDによる不正確な近位評価は、収束性能を劣化させることなく、どれほど正確な近位演算子を近似できるか？
• RQ5 ユーザーのサンプリングサイズは、送信バイト数と通信ラウンド数という観点から、通信効率とモデル収束にどのように影響を与えるか？

主な発見

• FedDRは、定常点を求めるために$Ó(\varepsilon^{-2})$の通信複雑性を達成し、標準的な仮定のもとで既知の下界に定数倍の誤差で一致する。
• FedSplit や FedPD とは異なり、部分的ユーザー参加でも収束性と性能を維持する。
• 数値実験の結果、非i.i.d.な合成データおよびFEMNISTデータセットにおいて、FedAvg や FedProx よりもFedDRが優れた性能を示す。特に統計的非均一性が高い状況で顕著である。
• FEMNIST-62クラスデータセットにおいて、asyncFedDRはFedDRよりも低い損失と高い精度を達成しており、現実の設定における非同期性の利点を示している。
• 合計通信コスト（バイト数）を指標にした場合、さまざまなユーザーのサンプリングサイズに対しても性能が安定しており、クライアント選択に対して頑健であることが示された。
• ローカルSGDの学習率とローカルエポック数のチューニングは、近位評価の不正確さとローカル計算コストのバランスを取るために極めて重要である。