[論文レビュー] Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence

Tengyu Xu, Zhe Wang+2 more|arXiv (Cornell University)|Jun 16, 2020

Stochastic Gradient Optimization Techniques参考文献 31被引用数 5

ひとこと要約

本稿では、関数値のみが利用可能である非凸強凸型ミニマックス最適化問題に対して、初めての零次元の分散低減勾配降下上昇（ZO-VRGDA）アルゴリズムを提案する。この手法は再帰的分散低減と勾配フリーの関数クエリを活用し、$ mathcal{O}(\kappa(d_1+d_2)\epsilon^{-3})$ のクエリ複雑度を達成する。これは理論的下界と一致しており、減少するステップサイズを必要とせず、従来手法と比較して数個のオーダーも優れている。

ABSTRACT

Many important machine learning applications amount to solving minimax optimization problems, and in many cases there is no access to the gradient information, but only the function values. In this paper, we focus on such a gradient-free setting, and consider the nonconvex-strongly-concave minimax stochastic optimization problem. In the literature, various zeroth-order (i.e., gradient-free) minimax methods have been proposed, but none of them achieve the potentially feasible computational complexity of $\mathcal{O}(ε^{-3})$ suggested by the stochastic nonconvex minimization theorem. In this paper, we adopt the variance reduction technique to design a novel zeroth-order variance reduced gradient descent ascent (ZO-VRGDA) algorithm. We show that the ZO-VRGDA algorithm achieves the best known query complexity of $\mathcal{O}(κ(d_1 + d_2)ε^{-3})$, which outperforms all previous complexity bound by orders of magnitude, where $d_1$ and $d_2$ denote the dimensions of the optimization variables and $κ$ denotes the condition number. In particular, with a new analysis technique that we develop, our result does not rely on a diminishing or accuracy-dependent stepsize usually required in the existing methods. To our best knowledge, this is the first study of zeroth-order minimax optimization with variance reduction. Experimental results on the black-box distributional robust optimization problem demonstrates the advantageous performance of our new algorithm.

研究の動機と目的

• 関数値のみが利用可能な非凸強凸型ミニマックス問題に対して、効率的な勾配フリーのアルゴリズムが不足しているという問題に取り組む。
• 既存のゼロ次元手法と理論的 $ mathcal{O}(\epsilon^{-3})$ クエリ複雑度下界とのギャップを埋める。
• 減少するか精度依存のステップサイズに依存しない分散低減手法を開発する。
• 定常ステップサイズを可能にする新しい解析フレームワークを確立する。

提案手法

• 再帰的分散低減を用いた勾配推定に特化した、ネストされたループ構造を持つゼロ次元のアルゴリズム ZO-VRGDA を提案する。
• 関数値からの勾配近似に、ガウススムージング勾配推定器（GauGE）を採用する。
• 減少するか精度依存のステップサイズに依存しない定常ステップサイズを可能にする、新しい解析技術を導入する。
• 外側のループと内側のループの両方で再帰的分散低減を用いて、勾配推定器の分散を低減する。
• 二段階のサンプリングスキームを設計：内側のループは分散低減に、外側のループは逐次的な解の更新に使用する。
• 外側の目的関数 $\Phi(x)$ の勾配の期待ノルムをバインドすることで収束性を確立する。

実験結果

リサーチクエスチョン

• RQ1 ゼロ次元ミニマックスアルゴリズムは、非凸強凸型設定において理論的 $ mathcal{O}(\epsilon^{-3})$ クエリ複雑度を達成できるか？
• RQ2 分散低減技術はゼロ次元ミニマックス最適化に効果的に適応可能か？ これにより収束速度が向上するか？
• RQ3 精度を損なわずに、ゼロ次元ミニマックス手法で定常ステップサイズを用いて収束を達成できるか？
• RQ4 定常ステップサイズをサポートし、よりタイトな複雑度バウンドを実現するための新しい解析フレームワークを開発できるか？

主な発見

• 提案された ZO-VRGDA アルゴリズムは、$ mathcal{O}(\kappa(d_1 + d_2)\epsilon^{-3})$ のクエリ複雑度を達成し、勾配ベース手法の理論的下界と一致する。
• クエリ複雑度の観点で、すべての先行ゼロ次元手法を数個のオーダーも上回る。
• 解析において減少するか精度依存のステップサイズを必要とせず、安定かつ高速な収束を実現できる。
• 本手法は、分散低減とゼロ次元ミニマックス最適化を初めて組み合わせ、新たなベンチマークを確立した。
• ブラックボックスの分布ロバスト最適化における実験結果から、ZO-VRGDA が既存手法を上回る優れた性能を示した。
• 適切なパrameter設定下で、$T = \mathcal{O}(\kappa\epsilon^{-2})$ 回の反復で $\mathbb{E}[\|\nabla\Phi(\hat{x})\|_2] \leq \epsilon$ を達成した。