[論文レビュー] AdaGDA: Faster Adaptive Gradient Descent Ascent Methods for Minimax Optimization

Feihu Huang, Wu, Xidong+1 more|arXiv (Cornell University)|Jun 30, 2021

Sparse and Compressive Sensing Techniques参考文献 33被引用数 5

ひとこと要約

本稿では、統一された適応行列とモーメンタムに基づく分散低減を用いて、非凸強凸型ミニマックス問題におけるより高速な適応的勾配降下上昇法であるAdaGDAを提案する。AdaGDAの勾配複雑度は$\tilde{O}(\kappa^{4}\epsilon^{-4})$、VR-AdaGDAの勾配複雑度は$\tilde{O}(\kappa^{4.5}\epsilon^{-3})$を達成し、従来の適応的GDA手法と比較してそれぞれ$O(\sqrt{\kappa})$および$O(\epsilon^{-1})$の改善を達成している。実験により、ポリシー評価およびフェアな分類器学習における効率性が確認されている。

ABSTRACT

In the paper, we propose a class of faster adaptive Gradient Descent Ascent (GDA) methods for solving the nonconvex-strongly-concave minimax problems by using the unified adaptive matrices, which include almost all existing coordinate-wise and global adaptive learning rates. In particular, we provide an effective convergence analysis framework for our adaptive GDA methods. Specifically, we propose a fast Adaptive Gradient Descent Ascent (AdaGDA) method based on the basic momentum technique, which reaches a lower gradient complexity of $ ilde{O}(κ^4ε^{-4})$ for finding an $ε$-stationary point without large batches, which improves the existing results of the adaptive GDA methods by a factor of $O(\sqrtκ)$. Moreover, we propose an accelerated version of AdaGDA (VR-AdaGDA) method based on the momentum-based variance reduced technique, which achieves a lower gradient complexity of $ ilde{O}(κ^{4.5}ε^{-3})$ for finding an $ε$-stationary point without large batches, which improves the existing results of the adaptive GDA methods by a factor of $O(ε^{-1})$. Moreover, we prove that our VR-AdaGDA method can reach the best known gradient complexity of $ ilde{O}(κ^{3}ε^{-3})$ with the mini-batch size $O(κ^3)$. The experiments on policy evaluation and fair classifier learning tasks are conducted to verify the efficiency of our new algorithms.

研究の動機と目的

• 非凸強凸型ミニマックス問題における既存の適応的GDA手法の高い勾配複雑度に対処すること。
• 座標単位およびグローバルレートを含む両方の適応的学習率を統合するための統一フレームワークを構築すること。
• 大規模ミニバッチに依存せずに、モーメンタムと分散低減技術を用いて収束速度を向上させること。
• 一般な条件下で適応的GDA手法の収束解析フレームワークを確立すること。
• ポリシー評価やフェアな分類器学習といった実世界の機械学習タスクにおける提案手法の効率性を検証すること。

提案手法

• 勾配複雑度の低減を目的とした基本的なモーメンタム技術に基づく高速な適応的GDA法、AdaGDAを提案する。
• さらに収束を向上させるために、モーメンタムに基づく分散低減を用いた加速版であるVR-AdaGDAを導入する。
• 座標単位およびグローバルな適応的学習率を統合するための統一された適応行列を採用する。
• 勾配ノルムと適応行列の更新の進化を追跡する新しい解析フレームワークを用いて収束境界を導出する。
• VR-AdaGDAのミニバッチ版を導入し、$O(\kappa^{3})$のバッチサイズで$\tilde{O}(\kappa^{3}\epsilon^{-3})$の複雑度を達成する。
• リャプノフ関数と再帰的不等式を用いて、外側の目的関数の勾配ノルムの期待値をバインドする。

実験結果

リサーチクエスチョン

• RQ1 非凸強凸型ミニマックス問題において、適応的GDA手法は従来の手法よりも優れた勾配複雑度を達成できるか？
• RQ2 モーメンタムと分散低減技術を適応的学習率と効果的に組み合わせることで、収束を加速できるか？
• RQ3 提案フレームワークは大規模なミニバッチを必要とせずに、低い勾配複雑度を維持できるか？
• RQ4 提案された適応的GDAおよびその加速版の理論的勾配複雑度は何か？
• RQ5 提案手法は一般な適応的学習率をサポートしつつ、最先端の収束速度を達成できるか？

主な発見

• AdaGDAは、$\epsilon$-停留点を求めるための勾配複雑度が$\tilde{O}(\kappa^{4}\epsilon^{-4})$であり、従来の適応的GDA手法よりも$O(\sqrt{\kappa})$の改善を達成している。
• VR-AdaGDAは大規模バッチを必要とせず、勾配複雑度が$\tilde{O}(\kappa^{4.5}\epsilon^{-3})$に抑えられ、従来の結果よりも$O(\epsilon^{-1})$の改善が得られている。
• バッチサイズ$O(\kappa^{3})$の条件下で、VR-AdaGDAは$\tilde{O}(\kappa^{3}\epsilon^{-3})$という、既知の最良の勾配複雑度を達成している。
• 収束解析フレームワークは一般性が高く、座標単位およびグローバルな適応的レートを含む広範なクラスの適応行列に適用可能である。
• ポリシー評価およびフェアな分類器学習における実験により、提案手法の効率性と実用的優位性が示されている。
• 理論的境界から、$q = O(\kappa^{\nu})$のバッチサイズ下でVR-AdaGDAの収束速度が$O(\kappa^{(3/2 - \nu/2)}/T^{1/3})$であることが示され、$T = \Omega(\kappa^{(9/2 - 3\nu/2)}\epsilon^{-3})$回の反復が必要であることが導かれる。