[論文レビュー] A Single-Loop Smoothed Gradient Descent-Ascent Algorithm for Nonconvex-Concave Min-Max Problems

Jiawei Zhang, Peijun Xiao+2 more|arXiv (Cornell University)|Oct 29, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用数 17

ひとこと要約

本稿では、非凸・凸最小最大化問題における1ループの滑らか化勾配降下・上昇（GDA）アルゴリズムを提案する。滑らか化スキームにより、振動を安定化させる。点ごとの非凸関数の最大値を最小化する場合、$O(1/\theta^2)$ の反復複雑性を達成し、一般の非凸・凸問題では $O(1/\theta^4)$ を達成する。従来のマルチループ手法を上回る性能を発揮する。

ABSTRACT

Nonconvex-concave min-max problem arises in many machine learning applications including minimizing a pointwise maximum of a set of nonconvex functions and robust adversarial training of neural networks. A popular approach to solve this problem is the gradient descent-ascent (GDA) algorithm which unfortunately can exhibit oscillation in case of nonconvexity. In this paper, we introduce a "smoothing" scheme which can be combined with GDA to stabilize the oscillation and ensure convergence to a stationary solution. We prove that the stabilized GDA algorithm can achieve an $O(1/ε^2)$ iteration complexity for minimizing the pointwise maximum of a finite collection of nonconvex functions. Moreover, the smoothed GDA algorithm achieves an $O(1/ε^4)$ iteration complexity for general nonconvex-concave problems. Extensions of this stabilized GDA algorithm to multi-block cases are presented. To the best of our knowledge, this is the first algorithm to achieve $O(1/ε^2)$ for a class of nonconvex-concave problem. We illustrate the practical efficiency of the stabilized GDA algorithm on robust training.

研究の動機と目的

• 非凸・凸最小最大化問題における勾配降下・上昇（GDA）の振動問題を解決すること。
• 非凸関数の点ごとの最大値を最小化する場合に、最適な反復複雑性 $O(1/\epsilon^2)$ を達成すること。
• 大規模および分散学習に適した1ループ・マルチブロックアルゴリズムを開発すること。
• ニューラルネットワークのロバストな敵対的訓練における収束性と安定性を向上させること。

提案手法

• 更新方向の正則化により、GDAの安定化を図る滑らか化スキームを導入する。
• 各反復で閉形式の更新を用いる1ループ構造を適用し、内側のループを回避する。
• 有限最大問題を凸最小最大化問題に変換するために確率的単体表現を用いる。
• 敵対的訓練における内側の最大化を近似するために、確率単体上での勾配上昇を実装する。
• 効率的な計算のため、$O(d\log d)$ アルゴリズムを用いて単体への射影を実行する。
• 分散最適化に適したマルチブロック設定への拡張を実施する。

実験結果

リサーチクエスチョン

• RQ1 1ループのGDAアルゴリズムは、非凸・凸最小最大化問題において $O(1/\epsilon^2)$ の反復複雑性を達成できるか？
• RQ2 滑らか化により、非凸設定におけるGDAの振動を安定化させることができるか？
• RQ3 このアルゴリズムはマルチブロックおよび分散最適化のシナリオに拡張可能か？
• RQ4 滑らか化GDAは、従来のマルチループアルゴリズムに比べ、収束速度とロバスト性で優れているか？

主な発見

• 滑らか化GDAは、非凸関数の点ごとの最大値を最小化する場合、理論的下界に一致する $O(1/\epsilon^2)$ の反復複雑性を達成する。
• 一般の非凸・凸問題では、$O(1/\epsilon^4)$ の反復複雑性を達成し、従来の $O(1/\epsilon^{2.5})$ の境界を改善する。
• この問題クラスにおいて $O(1/\epsilon^2)$ 複雑性を達成する最初の1ループ手法である。
• MNISTおよびCIFAR10における実験では、収束が速く、先行研究と同等のロバストな正確度（38.5％）を達成する。
• 30エポック後のCIFAR10では、[20]のアルゴリズムよりも収束速度が速い。
• 滑らか化GDAは、最小限のハイパーパrameterチューニングで、ロバストな敵対的訓練に有効であり、最先端のパフォーマンスを達成する。