[論文レビュー] Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency

Yuyang Deng, Mehrdad Mahdavi|arXiv (Cornell University)|Feb 25, 2021

Stochastic Gradient Optimization Techniques参考文献 52被引用数 12

ひとこと要約

本稿は、分散ミニマックス最適化のための局所的確率的勾配降下・上昇法（local SGDA）を提案する。この手法により、クライアント間で局所的なプライマルおよびデュアル変数の更新が可能となり、周期的な平均化によって通信量を削減できる。強凸・強凹、非凸・強凹、非凸・非凹な設定下で収束保証を確立し、非均質なデータ環境下でも理論的レートを達成する通信効率の向上を実現する。

ABSTRACT

Local SGD is a promising approach to overcome the communication overhead in distributed learning by reducing the synchronization frequency among worker nodes. Despite the recent theoretical advances of local SGD in empirical risk minimization, the efficiency of its counterpart in minimax optimization remains unexplored. Motivated by large scale minimax learning problems, such as adversarial robust learning and training generative adversarial networks (GANs), we propose local Stochastic Gradient Descent Ascent (local SGDA), where the primal and dual variables can be trained locally and averaged periodically to significantly reduce the number of communications. We show that local SGDA can provably optimize distributed minimax problems in both homogeneous and heterogeneous data with reduced number of communications and establish convergence rates under strongly-convex-strongly-concave and nonconvex-strongly-concave settings. In addition, we propose a novel variant local SGDA+, to solve nonconvex-nonconcave problems. We give corroborating empirical evidence on different distributed minimax problems.

研究の動機と目的

• フェデレーテッド学習や GAN や敵対的訓練のような大規模学習設定において、分散ミニマックス最適化における高い通信コストを低減すること。
• 局所的 SGD の枠組みをミニマックス問題に拡張し、周期的な平均化を伴う局所的なプライマル・デュアル更新を可能にすること。
• 非均質なデータおよび非凸目的関数を含むさまざまな設定下で、局所的 SGDA の理論的収束レートを確立すること。
• 非凸・非凹問題を扱える新たな変種、local SGDA+ を提案すること。

提案手法

• 各クライアントが、グローバルな平均化ステップの間に複数回の局所的 SGD ステップをプライマルおよびデュアル変数に対して実行し、周期的な平均化によって同期する、local SGDA を提案する。
• 通信頻度を低減したパラメータサーバー・モデルを採用し、グローバル平均化ステップの間はローカルモデルを独立して更新する。
• 非均質性および局所的更新ノイズを考慮した、ローカル変数とグローバル変数の乖離を制限する新しい解析フレームワークを導入する。
• ローカル変数のドリフトと勾配の類似性、データの非均質性の影響を分析することで、収束レートを導出する。
• 誤差の蓄積を制御するため、確率的近似およびバリアンス低減の技術を用いる。
• 非凸・非凹問題を扱うための拡張版として、local SGDA+ を提案し、追加の安定化機構を組み込む。

実験結果

リサーチクエスチョン

• RQ1 分散ミニマックス最適化における局所的更新は、通信ラウンド数を著しく削減しつつ収束を達成できるか？
• RQ2 データの非均質性は、ミニマックス問題における局所的 SGDA の収束にどのように影響するか？
• RQ3 強凸・強凹および非凸・強凹な設定下で、局所的 SGDA の理論的収束レートは何か？
• RQ4 局所的 SGDA は非凸・非凹問題に拡張可能か？また、どのような収束保証を確立できるか？
• RQ5 実際の応用において、局所的 SGDA の通信効率は、標準的な同期的 SGDA よりも優れているか？

主な発見

• 非均質で強凸・強凹な設定下で、local SGDA は $ O\left(\frac{\kappa^{2}(\Delta_{x}+\Delta_{y}+\sigma^{2})}{\mu nT}\right) $ の収束レートを達成し、$ \Omega(\sqrt{nT}) $ の通信ラウンドを要する。
• 非凸・強凹な設定下では、本手法は $ O\left(\frac{L^{2}\sigma^{2}}{(nT)^{1/3}}\right) $ のレートを達成し、同期手法に比べ通信効率が向上する。
• 非凸・非凹な問題に対しては、local SGDA+ が $ O\left(\frac{L\sigma^{2}}{T^{1/6}}\right) $ の収束レートを達成し、挑戦的な GAN 訓練シナリオへの適用可能性を示す。
• 解析により、同期的 SGDA と比較して、均質な設定下では通信複雑度を $ \tilde{O}(n) $ の要因で低減可能であることが示された。
• 実験結果は理論的予測を裏付け、GAN やロバスト回帰のような分散ミニマックス問題において、安定的かつ効率的な訓練が可能であることを示している。
• 勾配の類似性およびデータの非均質性を効果的に扱い、収束境界に明示的に $ \zeta_x $ および $ \zeta_y $ 項を組み込んでいる。