[論文レビュー] Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax Problems

Quoc Tran-Dinh, Deyi Liu+1 more|arXiv (Cornell University)|Jun 27, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用数 7

ひとこと要約

本稿では、非凸線形ミニマックス問題を解くための新しい単一ループで分散低減された確率的勾配法を提案する。滑らか化とハイブリッドバイアス分散低減を組み合わせることで、最適な $Ø(T^{-2/3})$ 収束速度と最高水準のオракル複雑度を達成する。この手法は実装が簡単で、最小限のハイパーパrameterチューニングでよく動作し、定数または減少するステップサイズを用いた単一サンプルおよびミニバッチの導出推定器をサポートする。

ABSTRACT

We develop a novel and single-loop variance-reduced algorithm to solve a class of stochastic nonconvex-convex minimax problems involving a nonconvex-linear objective function, which has various applications in different fields such as machine learning and robust optimization. This problem class has several computational challenges due to its nonsmoothness, nonconvexity, nonlinearity, and non-separability of the objective functions. Our approach relies on a new combination of recent ideas, including smoothing and hybrid biased variance-reduced techniques. Our algorithm and its variants can achieve $\mathcal{O}(T^{-2/3})$-convergence rate and the best known oracle complexity under standard assumptions, where $T$ is the iteration counter. They have several computational advantages compared to existing methods such as simple to implement and less parameter tuning requirements. They can also work with both single sample or mini-batch on derivative estimators, and with constant or diminishing step-sizes. We demonstrate the benefits of our algorithms over existing methods through two numerical examples, including a nonsmooth and nonconvex-non-strongly concave minimax model.

研究の動機と目的

• 目的関数の非滑らか性、非凸性、非線形性、非分離性に起因する計算上の課題を解消すること。
• 二重ループ法やプロキシ線形な部分問題に依存しない、単純で効率的かつロバストなアルゴリズムの開発。
• このクラスの問題に対して標準的な仮定の下で、最高水準のオラクル複雑度と収束速度を達成すること。
• 最小限のパrameterチューニングで実用的な展開を可能とし、単一サンプルおよびミニバッチの導出推定器を両方サポートすること。

提案手法

• 目的関数に含まれる非滑らかなフェンヒェル共役を扱うために滑らか化技術を用い、勾配ベース最適化を可能にする。
• 複数の勾配推定器を組み合わせたハイブリッドバイアス分散低減方式を導入し、単一ループ内で効率的に分散を低減する。
• 元のミニマックス問題を確率的合成非凸最適化問題に再定式化し、分散低減確率的勾配法の適用を可能にする。
• 特に非強い凸な設定において収束を向上させるために、再起動を組み込んだバリエーションを提案する。
• 定数または減少するステップサイズをサポートし、確率的関数およびそのヤコビアンの単一サンプルまたはミニバッチ評価と両立可能である。
• 理論的分析により、$Ø(T^{-2/3})$ の速度で一次の静止点に収束し、$Ø(\varepsilon^{-3})$ の最適なオラクル複雑度を確立する。

実験結果

リサーチクエスチョン

• RQ1 単一ループで分散低減された確率的勾配法が、非凸線形ミニマックス問題に対して最適な収束速度とオラクル複雑度を達成できるか？
• RQ2 高価な部分問題の解法に依存せずに、目的関数の非滑らか性と非分離性を効果的に扱う方法は何か？
• RQ3 提案手法は、従来の二重ループ法やプロキシ線形法に比べ、収束速度と計算効率の面で優れているか？
• RQ4 ステップサイズ戦略とバッチサイズが、実用的設定におけるアルゴリズムの性能に与える影響は何か？

主な発見

• 提案手法は $Ø(T^{-2/3})$ の収束速度を達成し、このクラスの問題に対して標準的な仮定の下で最適である。
• 方法は $Ø(\varepsilon^{-3})$ の最高水準のオラクル複雑度を達成し、確率的非凸最小化の理論的下界と一致する。
• 数値実験では、HSCG と名付けられた本手法が、複数のデータセットで CIVR や SCG、Prox-Linear を上回ることを示した。特に高次元および非滑らかな設定で顕著な優位性を示した。
• 本手法は、さまざまなブロックサイズやデータ構成に対しても強固でスケーラブルな性能を維持した。
• w8a や phishing のようなデータセットでは、部分問題の解法が計算的に高価であるため、Prox-Linear よりも HSCG が顕著に優れた性能を示した。
• covtype のようなデータセットでは Prox-Linear が良好に動作する場合もあったが、HSCG は依然として競争力のある性能を示し、その効率性と柔軟性を裏付けた。