[論文レビュー] Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems

Hongchang Gao|arXiv (Cornell University)|Dec 6, 2022

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿は、分散環境における有限和ミニマックス問題に対して、分散型確率的勾配降下上昇（DSGDA）法を提案する。分散型勾配追跡と分散低減を活用することで、最適なサンプルおよび通信複雑性を達成する。非凸型・強く凹型問題に対して、$O\left(\frac{\tilde{\rho}^{3}}{(1-\rho)^{2}\tilde{\rho}^{2}}\right)$ のサンプル複雑性と $O\left(\frac{\tilde{\rho}^{3}}{(1-\rho)^{2}\tilde{\rho}^{2}}\right)$ の通信複雑性を確立し、理論的効率性と実用的拡張性において、先行する分散型手法を上回る性能を発揮する。

ABSTRACT

Minimax optimization problems have attracted significant attention in recent years due to their widespread application in numerous machine learning models. To solve the minimax problem, a wide variety of stochastic optimization methods have been proposed. However, most of them ignore the distributed setting where the training data is distributed on multiple workers. In this paper, we developed a novel decentralized stochastic gradient descent ascent method for the finite-sum minimax problem. In particular, by employing the variance-reduced gradient, our method can achieve $O(\frac{\sqrt{n}κ^3}{(1-λ)^2ε^2})$ sample complexity and $O(\frac{κ^3}{(1-λ)^2ε^2})$ communication complexity for the nonconvex-strongly-concave minimax problem. As far as we know, our work is the first one to achieve such theoretical complexities for this kind of minimax problem. At last, we apply our method to AUC maximization, and the experimental results confirm the effectiveness of our method.

研究の動機と目的

• 分散機械学習環境における有限和ミニマックス問題のための効率的でない分散最適化手法の欠如に対処する。
• 非凸型・強く凹型ミニマックス問題における、既存の分散型確率的手法の高い通信およびサンプル複雑性を克服する。
• 分散システムにおける収束効率を向上させるために、分散低減と勾配追跡を活用する。
• 既存の最先端手法と同等またはそれを上回る理論的通信およびサンプル複雑性の境界を達成する。
• AUC最大化タスク上で実証し、実世界の分散学習タスクにおける実用的効果を示す。

提案手法

• K名のワーカーからなるピアツーピアネットワーク上で動作する分散型確率的勾配降下上昇（DSGDA）アルゴリズムを提案する。各ワーカーはローカルデータとモデルパラメータを保持する。
• ローカルサンプリング戦略を用いた分散低減型確率的勾配を採用し、勾配ノイズを低減し収束性を向上させる。
• ローカル勾配の同期化を保証するため、勾配追跡機構を統合し、分散データのもとでもグローバル収束を実現する。
• 全バッチ勾配計算を回避するため、各ワーカーがローカルデータセット $f_i^{(k)}(\boldsymbol{x}, \boldsymbol{y})$ に対して勾配を計算する有限和構造を採用する。
• 非凸性を $\boldsymbol{x}$ に、強く凹型を $\boldsymbol{y}$ に持つ条件下で、収束保証を維持しながらデータ転送を最小限に抑える通信効率の高いプロトコルを設計する。
• 理論的分析は、ローカル勾配とグローバル平均との乖離を制限し、反復ごとの勾配推定誤差を追跡することに依存する。

実験結果

リサーチクエスチョン

• RQ1 分散型確率的アルゴリズムは、有限和の非凸型・強く凹型ミニマックス問題に対して、最適なサンプルおよび通信複雑性を達成できるか？
• RQ2 提案されたDSGDA手法は、既存の分散型確率的および有限和手法と比較して、収束速度および通信コストの点でどのように異なるか？
• RQ3 分散ミニマックス最適化における分散低減と勾配追跡の収束挙動に与える影響は何か？
• RQ4 AUC最大化のような実世界の問題に、分散環境で効果的に適用可能か？
• RQ5 GT-SRVRのように、定期的な全勾配計算による計算オーバーヘッドを回避できるか？

主な発見

• 提案されたDSGDA手法は、ワーカーあたり $O\left(\frac{\sqrt{n}\kappa^{3}}{(1-\lambda)^{2}\epsilon^{2}}\right)$ のサンプル複雑性を達成し、全勾配計算を回避するため、GT-SRVRの $O\left(n + \frac{\sqrt{n}\kappa^{3}}{(1-\lambda)^{2}\epsilon^{2}}\right)$ より優れている。
• 通信複雑性は $O\left(\frac{\kappa^{3}}{(1-\lambda)^{2}\epsilon^{2}}\right)$ であり、GT-SRVRと同等の最良の有限和手法の性能を達成し、DM-HSGDの $O\left(\frac{\kappa^{3}}{(1-\lambda)^{2}\epsilon^{3}}\right)$ よりも優れている。
• 本手法は、分散環境下で非凸型・強く凹型有限和ミニマックス問題に対して、このような低い通信複雑性を達成する初の手法である。
• AUC最大化における実験結果は、本手法の有効性と分散学習環境におけるスケーラビリティを確認する。
• 理論的分析により、収束速度が条件数 $\kappa$、スペクトルギャップ $1-\lambda$、解の精度 $\epsilon$ に依存することが示され、すべてのパラメータで最適なスケーリングが達成されている。
• 本手法は全勾配計算の必要を回避し、GT-SRVRが定期的に全勾配を計算するのと比較して、計算オーバーヘッドを低減する。