[論文レビュー] A Unified Single-loop Alternating Gradient Projection Algorithm for Nonconvex-Concave and Convex-Nonconcave Minimax Problems

Zi Xu, Huiling Zhang+2 more|arXiv (Cornell University)|Jun 3, 2020

Sparse and Compressive Sensing Techniques参考文献 54被引用数 23

ひとこと要約

本稿では、非凸-凹型および凸-非凹型ミニマックス問題を解くための統一的でシングルループ型の交互勾配射影（AGP）アルゴリズムを提案する。非凸-強い凹型設定では𝒪(ε⁻²)、非凸-凹型設定では𝒪(ε⁻⁴)の最適な勾配複雑度を達成し、(強い)凸-非凹型設定に対しては初めて理論的保証を提供するとともに、シングルループ手法の中で最高水準の性能を達成する。

ABSTRACT

Much recent research effort has been directed to the development of efficient algorithms for solving minimax problems with theoretical convergence guarantees due to the relevance of these problems to a few emergent applications. In this paper, we propose a unified single-loop alternating gradient projection (AGP) algorithm for solving smooth nonconvex-(strongly) concave and (strongly) convex-nonconcave minimax problems. AGP employs simple gradient projection steps for updating the primal and dual variables alternatively at each iteration. We show that it can find an $\varepsilon$-stationary point of the objective function in $\mathcal{O}\left( \varepsilon ^{-2} ight)$ (resp. $\mathcal{O}\left( \varepsilon ^{-4} ight)$) iterations under nonconvex-strongly concave (resp. nonconvex-concave) setting. Moreover, its gradient complexity to obtain an $\varepsilon$-stationary point of the objective function is bounded by $\mathcal{O}\left( \varepsilon ^{-2} ight)$ (resp., $\mathcal{O}\left( \varepsilon ^{-4} ight)$) under the strongly convex-nonconcave (resp., convex-nonconcave) setting. To the best of our knowledge, this is the first time that a simple and unified single-loop algorithm is developed for solving both nonconvex-(strongly) concave and (strongly) convex-nonconcave minimax problems. Moreover, the complexity results for solving the latter (strongly) convex-nonconcave minimax problems have never been obtained before in the literature. Numerical results show the efficiency of the proposed AGP algorithm. Furthermore, we extend the AGP algorithm by presenting a block alternating proximal gradient (BAPG) algorithm for solving more general multi-block nonsmooth nonconvex-(strongly) concave and (strongly) convex-nonconcave minimax problems. We can similarly establish the gradient complexity of the proposed algorithm under these four different settings.

研究の動機と目的

• 非凸-凹型および凸-非凹型ミニマックス問題を理論的収束保証とともに効率的に解くシングルループアルゴリズムの開発を目的とする。
• 文献でこれまで分析されていなかった、(強い)凸-非凹型ミニマックス問題の理論的複雑度バウンズのギャップを埋める。
• ブロック交互近接勾配（BAPG）法を用いて、マルチブロック型、非滑らか型、非凸-(強い)凹型および(強い)凸-非凹型設定へのアルゴリズムの拡張を目的とする。
• 非凸-強い凹型、非凸-凹型、(強い)凸-非凹型、およびそれらの非滑らかマルチブロック拡張の4つの異なる問題設定における勾配複雑度バウンズの確立を目的とする。
• 機械学習ベンチマーク上での数値実験を通じて、提案アルゴリズムの効率性と頑健性を示す。

提案手法

• AGPアルゴリズムは、1反復ごとに1回の勾配射影ステップを用い、プライマル（x）とデュアル（y）変数をシングルループ構造で交互に更新する。
• 内側の部分問題を正確に解く必要がなく、ネストドループ型手法の計算負荷を回避するシンプルな勾配射影ステップを採用する。
• ブロック交互近接勾配（BAPG）スキームを用いて、マルチブロック問題へと拡張され、1回に1つのブロックのみを更新する近接勾配ステップが用いられる。
• 目的関数f(x,y)の滑らかさおよび有界性の仮定の下で収束解析が行われ、集合𝒳および𝒴に制約が課される。
• 正確な内問題の解を必要としない、ε-停留点への進捗を追跡する新しい解析フレームワークを用いて理論的保証が導出される。
• 最小限のメモリおよび計算オーバーヘッドで実装可能であり、大規模な機械学習応用に適している。

実験結果

リサーチクエスチョン

• RQ1 シングルループ型アルゴリズムは、非凸-凹型および非凸-強い凹型ミニマックス問題において、最適な勾配複雑度を達成できるか？
• RQ2 これまでに研究がなされていなかった(強い)凸-非凹型ミニマックス設定において、理論的収束保証を確立することは可能か？
• RQ3 提案されたAGPアルゴリズムの勾配複雑度は、従来のネストドループ型およびシングルループ型手法と比較して、反復回数および勾配複雑度の観点でどのように異なるか？
• RQ4 AGPフレームワークは、理論的保証を伴って、マルチブロック型、非滑らか型、非凸-(強い)凹型および(強い)凸-非凹型問題へと一般化可能か？
• RQ5 提案されたシングルループ型アプローチは、実際の応用においても効率的かつ信頼性があると評価できるか、特にネストドループ型アルゴリズムと比較して？

主な発見

• 非凸-強い凹型問題に対して、AGPアルゴリズムは𝒪(ε⁻²)の勾配複雑度を達成し、シングルループ手法の中で最高水準のバウンズに一致する。
• 非凸-凹型問題では、𝒪(ε⁻⁴)の勾配複雑度を達成し、この設定におけるシングルループ手法の中で最適である。
• これは、(強い)凸-非凹型ミニマックス問題に対して理論的収束保証が初めて確立されたものであり、それぞれ𝒪(ε⁻²)および𝒪(ε⁻⁴)の勾配複雑度を達成している。
• BAPG拡張は、マルチブロック型、非滑らか型、非凸-(強い)凹型および(強い)凸-非凹型問題に対しても、同様の勾配複雑度バウンズを達成し、このクラスにおいて初めての理論的結果を提供する。
• MNISTおよびCIFAR10における数値実験では、AGPがGDAおよびヒューリスティックアルゴリズムを上回り、特にマルチタスク学習設定においてテスト精度と学習速度の両面で優れている。
• 正確な内問題の解を必要としないため、ネストドループ型手法に比べて高いメモリおよび計算コストを回避でき、大規模応用において実用的である。