[論文レビュー] On the Suboptimality of Negative Momentum for Minimax Optimization

Guodong Zhang, Yuanhao Wang|arXiv (Cornell University)|Aug 17, 2020

Advanced Bandit Algorithms Research参考文献 49被引用数 4

ひとこと要約

この論文は、変分不等式フレームワークを通じてチェビシェフ多項式に結びつけることで、滑らかで強く凸・強く凹なミニマックス最適化における負の運動量の分析を行う。負の運動量は局所的収束を 𝒪(κ¹.⁵) の複雑度で加速するが、Extra-Gradient（EG）およびオプティミスティック・グラディエント・ディセント・アセント（OGDA）の 𝒪(κ) 複雑度と比較して劣化しており、この設定における負の運動量の明示的収束レートを初めて確立する。

ABSTRACT

Smooth game optimization has recently attracted great interest in machine learning as it generalizes the single-objective optimization paradigm. However, game dynamics is more complex due to the interaction between different players and is therefore fundamentally different from minimization, posing new challenges for algorithm design. Notably, it has been shown that negative momentum is preferred due to its ability to reduce oscillation in game dynamics. Nevertheless, the convergence rate of negative momentum was only established in simple bilinear games. In this paper, we extend the analysis to smooth and strongly-convex strongly-concave minimax games by taking the variational inequality formulation. By connecting momentum method with Chebyshev polynomials, we show that negative momentum accelerates convergence of game dynamics locally, though with a suboptimal rate. To the best of our knowledge, this is the \emph{first work} that provides an explicit convergence rate for negative momentum in this setting.

研究の動機と目的

• 双線形ケースを超えた滑らかで強く凸・強く凹なミニマックス問題における負の運動量の収束挙動を分析すること。
• 負の運動量が、双線形ゲームで優れた性能を示すにもかかわらず、この設定で最適収束レートを達成するかどうかを特定すること。
• 理論的分析のため、負の運動量ダイナミクスを多項式近似およびチェビシェフ多項式に正式に結びつけること。
• 負の運動量の局所的収束レートを確立し、EGおよびOGDAの既知の最適レートと比較すること。
• 双線形ゲームでは類似したレートを示すにもかかわらず、負の運動量とOGDAの根本的な違いを明確にすること。

提案手法

• ゲームの勾配場のヤコビ行列を用いてミニマックス問題を変分不等式として定式化する。
• 一次の最適化手法を離散的力学系としてモデル化し、均衡点まわりの線形化を用いて局所的分析を行う。
• 運動量手法と多項式近似の対応関係を確立し、特にポリャクの運動量をチェビシェフ多項式に結びつける。
• チェビシェフ多項式の極値的性質を分析することで、最適な運動量パラメータと漸近的収束レートを導出する。
• 線形化されたシステムのスペクトル解析を用いて、条件数 κ に基づく収束レートの上限を導出する。
• 導出された負の運動量のレートを、一次の最適化手法の既知の下界 Ω(κ) および EG および OGDA の 𝒪(κ) レートと比較する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで強く凸・強く凹なミニマックスゲームにおける負の運動量は最適収束を達成するか？
• RQ2 この設定における負の運動量の明示的局所収束レートは何か？
• RQ3 負の運動量の収束レートは、Extra-Gradient（EG）およびオプティミスティック・グラディエント・ディセント・アセント（OGDA）のそれと比較してどうなるか？
• RQ4 なぜ負の運動量は双線形ゲームではうまく機能するが、より一般的な設定では劣化するのか？
• RQ5 負の運動量のダイナミクスは、多項式近似およびチェビシェフ多項式を用いて正式に分析可能か？

主な発見

• 滑らかで強く凸・強く凹なミニマックスゲームにおける負の運動量は、局所的収束レート 𝒪(κ¹.⁵) を達成する。
• これは、一次の最適化手法の Ω(κ) の下界と比較して劣化しており、EG および OGDA がこれを達成している。
• 本分析により、双線形ゲームに限定された先行研究を超えて、この一般設定における負の運動量の最初の明示的収束レートが確立された。
• 負の運動量とチェビシェフ多項式の関係は、収束レートの正確な導出および最適パラメータチューニングを可能にする。
• 双線形ゲームでは OGDA や EG と同様のレートを示すにもかかわらず、負の運動量はより広い強く凸・強く凹なクラスでは最適レートに達しない。
• 数値シミュレーションにより、負の運動量は GDA より優れるが OGDA より劣るという理論的レートギャップが確認された。