[論文レビュー] Zeroth-Order Algorithms for Nonconvex Minimax Problems with Improved Complexities

Zhongruo Wang, Krishnakumar Balasubramanian+2 more|arXiv (Cornell University)|Jan 22, 2020

Stochastic Gradient Optimization Techniques参考文献 75被引用数 16

ひとこと要約

本稿は、強凸的・非凸的ミニマックス問題に対するゼロ次元アルゴリズムを提案し、オракル複雑度を改善した。決定的設定およびその確率的バージョンとして、ZO-GDA と ZO-GDMSA を導入し、Strong Growth 条件の下で最適な複雑度を達成。決定的境界に一致し、従来の研究に比べて収束速度とクエリ効率が向上した。

ABSTRACT

In this paper, we study zeroth-order algorithms for minimax optimization problems that are nonconvex in one variable and strongly-concave in the other variable. Such minimax optimization problems have attracted significant attention lately due to their applications in modern machine learning tasks. We first consider a deterministic version of the problem. We design and analyze the Zeroth-Order Gradient Descent Ascent ( exttt{ZO-GDA}) algorithm, and provide improved results compared to existing works, in terms of oracle complexity. We also propose the Zeroth-Order Gradient Descent Multi-Step Ascent ( exttt{ZO-GDMSA}) algorithm that significantly improves the oracle complexity of exttt{ZO-GDA}. We then consider stochastic versions of exttt{ZO-GDA} and exttt{ZO-GDMSA}, to handle stochastic nonconvex minimax problems. For this case, we provide oracle complexity results under two assumptions on the stochastic gradient: (i) the uniformly bounded variance assumption, which is common in traditional stochastic optimization, and (ii) the Strong Growth Condition (SGC), which has been known to be satisfied by modern over-parametrized machine learning models. We establish that under the SGC assumption, the complexities of the stochastic algorithms match that of deterministic algorithms. Numerical experiments are presented to support our theoretical results.

研究の動機と目的

• ブラックボックスおよび導出不能な設定における非凸的・凸的ミニマックス問題に対する効率的なゼロ次元アルゴリズムの欠如に対処すること。
• 決定的および確率的設定におけるゼロ次元手法のオラクル複雑度を改善すること。特に、Strong Growth 条件のような現実的な仮定の下で。
• 関数評価のみにアクセス可能な状況でも、一次元手法と同等の収束複雑度を達成するアルゴリズムの設計。
• 最小限の関数クエリ数で 𝜖-停留点への収束を保証する理論的保証の提供。
• 理論的結果を数値実験で裏付けること。収束速度の改善を検証。

提案手法

• 非凸的・強凸的ミニマックス問題に対するゼロ次元勾配降下上昇法（ZO-GDA）を提案。有限差分による勾配推定を用いる。
• 複数ステップ上昇を組み込んだ ZO-GDMSA を導入。勾配推定誤差への依存度を低くすることで、オラクル複雑度を向上。
• 関数値からの勾配近似を可能にするために、パラメータ 𝜇 を用いたスムージング技術を採用。これにより、導出不能最適化が可能になる。
• 2つの仮定の下で確率的バージョンを分析：一様有界分散と Strong Growth 条件（SGC）。
• 内側の最大化のサブ最適性を制御するため、y 更新における収縮を用いた再帰的誤差バウンディングを採用。
• 外側の目的関数の勾配ノルムの期待値をバウンディングすることで収束レートを導出。これにより、𝜖-停留点への収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 ゼロ次元アルゴリズムは、非凸的・強凸的ミニマックス問題に対して最適なオラクル複雑度を達成できるか？
• RQ2 Strong Growth 条件は、確率的ゼロ次元手法の収束複雑度にどのように影響するか？
• RQ3 複数ステップ上昇は、ゼロ次元ミニマックス最適化における標準的 ZO-GDA よりもオラクル複雑度を向上させられるか？
• RQ4 ゼロ次元勾配推定において、スムージングパラメータ 𝜇 と収束速度のトレードオフは何か？
• RQ5 数値結果は、理論的複雑度バウンディングをどの程度裏付けているか？

主な発見

• ZO-GDMSA アルゴリズムは、複数ステップ上昇により勾配推定誤差への依存度を低くすることで、ZO-GDA よりも優れたオラクル複雑度を達成する。
• Strong Growth 条件の下で、ZO-GDA および ZO-GDMSA の確率的バージョンは、決定的バージョンと同等のオラクル複雑度を達成する。
• アルゴリズムフレームワークにより、決定的設定下で 𝜖-停留点への収束が O(𝜖⁻⁴) のオラクル複雑度で保証され、既知の一次元手法の境界と一致する。
• 近似誤差と勾配推定分散のバランスを取るために、スムージングパラメータ 𝜇 は O(min(1, 𝜌)𝑑₁⁻³ᐟ²) と選択される。
• 数値実験により理論的改善が確認され、ベースラインのゼロ次元手法と比較して、より速い収束と少ない関数クエリ数が得られた。
• 解析により、外側目的関数の期待勾配ノルムが O(𝜖²) に収束し、O(𝜖⁻⁴) のクエリ数で達成されることを示した。これにより、𝜖-停留点への収束が保証される。