[論文レビュー] Train simultaneously, generalize better: Stability of gradient-based minimax learners

Farzan Farnia, Asuman Ozdaglar|arXiv (Cornell University)|Oct 23, 2020

Sparse and Compressive Sensing Techniques参考文献 76被引用数 6

ひとこと要約

この論文は、GANsにおけるモデルの一般化性能が、収束速度やロバスト性だけでなく、最適化アルゴリズムの選択によって根本的に左右されることを確立している。アルゴリズム的安定性理論を用いて、勾配降下上昇（GDA）を用いた同時訓練が、非凸非凹な設定において非同時的手法（例：GDmax）よりも一般化性能が優れていることを証明しており、理論的境界により、過剰リスクのスケーリングが改善されることを示している。

ABSTRACT

The success of minimax learning problems of generative adversarial networks (GANs) has been observed to depend on the minimax optimization algorithm used for their training. This dependence is commonly attributed to the convergence speed and robustness properties of the underlying optimization algorithm. In this paper, we show that the optimization algorithm also plays a key role in the generalization performance of the trained minimax model. To this end, we analyze the generalization properties of standard gradient descent ascent (GDA) and proximal point method (PPM) algorithms through the lens of algorithmic stability under both convex concave and non-convex non-concave minimax settings. While the GDA algorithm is not guaranteed to have a vanishing excess risk in convex concave problems, we show the PPM algorithm enjoys a bounded excess risk in the same setup. For non-convex non-concave problems, we compare the generalization performance of stochastic GDA and GDmax algorithms where the latter fully solves the maximization subproblem at every iteration. Our generalization analysis suggests the superiority of GDA provided that the minimization and maximization subproblems are solved simultaneously with similar learning rates. We discuss several numerical results indicating the role of optimization algorithms in the generalization of the learned minimax models.

研究の動機と目的

• 最適化アルゴリズムが、収束性やロバスト性を越えてミニマックス学習における一般化に与える影響を調査すること。
• 凸凹ミニマックス問題における標準的な勾配降下上昇（GDA）およびプロキシマルポイント法（PPM）の一般化行動を分析すること。
• 非凸非凹設定における同時的（例：GDA）および非同時的（例：GDmax）最適化戦略の一般化性能を比較すること。
• アルゴリズム的安定性理論をミニマックス設定に拡張し、一般化分析に応用すること。
• 同時訓練がより優れた一般化性能をもたらすという理論的および実験的証拠を提供すること。

提案手法

• 教師付き学習におけるアルゴリズム的安定性理論をミニマックス最適化に適応し、訓練データの摂動に対する感度を一般化の指標として測定する。
• 強い凸・強い凹な問題におけるGDAおよびPPMの安定性に基づく一般化境界を導出。PPMが$O(\sqrt{1/n})$の過剰リスクを達成することを示す。
• 非凸的強い凹性を持つ問題における確率的GDAおよびGDmaxの分析。最小化および最大化プレイヤーが同じ学習率で同時に訓練される場合、GDAが一般化性能が優れていることを証明する。
• 隣接するデータセットで訓練されたモデル間のパラメータ差異（$\delta_t$）に対する再帰的境界を用いて、一般化リスク境界を導出する。
• Hardtら（2016）の確率的勾配降下法の安定性に関する結果を応用し、境界をミニマックス設定に拡張する。
• 消えるステップサイズと滑らかさ／リプシッツ連続性の仮定を用いて、一般非凸非凹問題における収束性および安定性のレートを導出する。

実験結果

リサーチクエスチョン

• RQ1 ミニマックス最適化アルゴリズムの選択が、学習モデルの一般化性能に影響を与えるか？
• RQ2 アルゴリズム的安定性理論をミニマックス学習問題の一般化分析に拡張可能か？
• RQ3 非凸非凹設定において、同時的（例：GDA）および非同時的（例：GDmax）最適化戦略の一般化性能はどのように比較されるか？
• RQ4 凸凹ミニマックス問題におけるGDAおよびPPMの理論的過剰リスク境界は何か？
• RQ5 最小化および最大化プレイヤーの同時訓練が、逐次的または交互更新よりも一般化性能を向上させる条件は何か？

主な発見

• 強い凸・強い凹なミニマックス問題において、PPMは$O(\sqrt{1/n})$のオーダーで有界な一般化リスクを達成するが、定数学習率を用いたGDAは過剰リスクが有界であるとは保証されない。
• 非凸的強い凹性を持つ問題において、同時に更新され、学習率がバランスされた確率的GDAは、GDmaxよりも一般化性能が優れており、一般化境界は$O(T^{\ell c / (\ell c + 1)})$のスケーリングを示す。
• 非凸非凹問題におけるSGDAの一般化境界は$\epsilon_{\text{gen}}(\text{SGDA}) \leq \frac{1 + \frac{1}{\ell c}}{n} (2cLL_w)^{1/(\ell c + 1)} T^{\ell c / (\ell c + 1)}$であり、同時に訓練することで安定性が向上することが示されている。
• 数値結果により、非凸GAN設定において、同時に最適化されたモデル（例：GDA）は、非同時的手法（例：GDmax）で訓練されたモデルよりも一般化性能が優れていることが確認された。
• この研究は、GAN訓練における暗黙の競合正則化の役割を支持しており、同時に最適化することで自然に一般化性能が向上することが示された。
• 理論的分析により、同時に訓練することは収束速度の向上に加え、一般化性能の向上にも寄与することが確認された。特に、最小化および最大化プレイヤーの学習率がバランスされている場合に顕著である。