[論文レビュー] Stability and Generalization of Stochastic Gradient Methods for Minimax Problems

Yunwen Lei, Zhenhuan Yang+2 more|arXiv (Cornell University)|May 8, 2021

Stochastic Gradient Optimization Techniques参考文献 61被引用数 7

ひとこと要約

本稿は、ミニマックス最適化における確率的勾配降下上昇（SGDA）のための最初の高確率一般化バウンドを確立し、凸-凹および非凸-非凹設定をカバーする。アルゴリズム的安定性と一般化の関係を結ぶ新しい安定性に基づく解析を導入し、滑らかでない場合でさえも最適な母集団リスクバウンドを導出する。GAN における実験により、時間経過に伴いパラメータ間の距離が増加することが確認された。

ABSTRACT

Many machine learning problems can be formulated as minimax problems such as Generative Adversarial Networks (GANs), AUC maximization and robust estimation, to mention but a few. A substantial amount of studies are devoted to studying the convergence behavior of their stochastic gradient-type algorithms. In contrast, there is relatively little work on their generalization, i.e., how the learning models built from training examples would behave on test examples. In this paper, we provide a comprehensive generalization analysis of stochastic gradient methods for minimax problems under both convex-concave and nonconvex-nonconcave cases through the lens of algorithmic stability. We establish a quantitative connection between stability and several generalization measures both in expectation and with high probability. For the convex-concave setting, our stability analysis shows that stochastic gradient descent ascent attains optimal generalization bounds for both smooth and nonsmooth minimax problems. We also establish generalization bounds for both weakly-convex-weakly-concave and gradient-dominated problems.

研究の動機と目的

• ミニマックス問題における確率的勾配法の一般化解析のギャップを埋めること、特に非凸-非凹および滑らかでない設定において。
• アルゴリズム的安定性とミニマックス最適化における複数の一般化形態（プライマル、デュアル、高確率）との間の定量的関係を確立すること。
• 早期停止を用いた SGDA における最適な母集団リスクバウンドを導出すること。これにより、従来の研究が高確率または滑らかでない場合の保証を欠いていた点を拡張する。
• GAN における実験結果を通じて理論的知見を検証し、訓練過程において隣接するデータセットで学習されたモデル間のパラメータ距離が増加することを示すこと。

提案手法

• 安定性-一般化解析におけるプライマルモデルとデュアルモデルの相関を扱うための新しい分解を提案する。
• アルゴリズム的安定性理論を用いて、隣接する訓練セット間でのモデル行動の差を制限する。
• 単一の訓練例を削除したときのモデルパラメータの期待変化に基づく安定性測度を導入する。
• 濃度不等式とリプシッツ連続性を用いて、期待値および高確率の一般化バウンドを導出する。
• 凸-凹設定において最適な母集団リスクバウンドを達成するために、早期停止を適用する。
• 弱凸性-弱凹性の減衰または両側PL条件といった正則性条件の下で、非凸-非凹問題への解析を拡張する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的安定性を用いて、ミニマックス問題における SGDA の高確率一般化バウンドを導出できるか？
• RQ2 特に滑らかでない場合に、凸-凹ミニマックス問題における SGDA の最適な母集団リスクバウンドは何か？
• RQ3 滑らかでない目的関数を伴う非凸-非凹ミニマックス問題への安定性解析は、どのように拡張できるか？
• RQ4 非凸-非凹設定で意味のある一般化バウンドを導くために必要な正則性条件は何か？
• RQ5 SGDA 訓練の過程で、隣接するデータセットで学習されたモデル間のパラメータ距離はどのように変化するか？

主な発見

• 本稿は、ミニマックス問題における SGDA のための最初の高確率一般化バウンドを確立し、凸-凹および非凸-非凹設定の両方で有効である。
• 凸-凹問題では、早期停止を用いることで、滑らかでない場合でも最適な母集団リスクバウンドを達成する。
• 解析により、一般化誤差が最適化軌道に関連するパラメータの逆数を含む安定性測度によって制御されることを示した。
• 非凸-非凹設定では、弱凸性-弱凹性パラメータの減衰または両側PL条件といった条件下で一般化バウンドを導出した。
• GAN における実験結果により、隣接するデータセットで学習されたモデル間のパラメータ距離が増加することが確認され、理論的安定性解析を支持した。
• 凸-凹設定における SGDA のバウンドが最適であることが示され、従来の研究が指数関数的に増大するバウンドしか得られなかった点を改善した。