[論文レビュー] On Solving Minimax Optimization Locally: A Follow-the-Ridge Approach

Yuanhao Wang, Guodong Zhang+1 more|arXiv (Cornell University)|Oct 16, 2019

Stochastic Gradient Optimization Techniques参考文献 48被引用数 18

ひとこと要約

本稿では、リーダーの勾配更新を応答リッジから逸脱しないように補正することで、局所的ミニマックス均衡に保証された収束を達成する、新しいミニマックス最適化アルゴリズムであるFollow-the-Ridge (FR) を提案する。この手法は勾配フローにおける回転運動を低減し、より大きな学習率を許容するとともに、前処理および正のモーメンタムと併用可能であり、GDA や最近年のベースラインと比較して、GAN の学習およびトゥイミニマックス問題の収束性が顕著に向上する。

ABSTRACT

Many tasks in modern machine learning can be formulated as finding equilibria in \emph{sequential} games. In particular, two-player zero-sum sequential games, also known as minimax optimization, have received growing interest. It is tempting to apply gradient descent to solve minimax optimization given its popularity and success in supervised learning. However, it has been noted that naive application of gradient descent fails to find some local minimax and can converge to non-local-minimax points. In this paper, we propose \emph{Follow-the-Ridge} (FR), a novel algorithm that provably converges to and only converges to local minimax. We show theoretically that the algorithm addresses the notorious rotational behaviour of gradient dynamics, and is compatible with preconditioning and \emph{positive} momentum. Empirically, FR solves toy minimax problems and improves the convergence of GAN training compared to the recent minimax optimization algorithms.

研究の動機と目的

• ミニマックス最適化における勾配降下・上昇（GDA）が局所的ミニマックス点に収束しない問題に対処すること。
• 固定点回りの勾配ダイナミクスに根ざした持続的で回転的な挙動を解消し、学習率と収束性の制限を克服すること。
• 前処理やモーメンタムといった標準的な最適化技術を用いても、局所的ミニマックス点にのみ保証された収束を達成するアルゴリズムを設計すること。
• 一般和スタックルベルクゲームに理論的保証を拡張し、GAN や合成ミニマックス問題において性能を検証すること。

提案手法

• FR は、リーダーの勾配ステップがもたらす不安定化効果を相殺するための補正項をフォロワーの更新に導入し、組み合わせた更新方向が損失関数のリッジに沿うようにする。
• 補正項は、フォロワーの応答多様体の曲率に特化した損失関数のヘッセ行列から導出される。
• アルゴリズムは、リーダーとフォロワーの組み合わせた更新がリッジに接するように保証し、逸脱を防ぎ、回転ダイナミクスを低減する。
• FR は前処理および正のモーメンタムと併用可能であり、収束速度を向上させつつ局所的収束保証を維持する。
• 標準的な微分可能性および逆行列可能性の仮定のもとで、FR が局所的ミニマックス点にのみ保証された収束を達成することを理論的に証明した。
• 本手法は、同様の収束特性を持つ一般和スタックルベルクゲームへと拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 局所的ミニマックス点にのみ保証された収束を達成するミニマックス最適化アルゴリズムを設計できるか？非ミニマックス固定点への収束を回避できるか？
• RQ2 GDA における勾配ダイナミクスの回転不安定性の原因は何か？そして、これを解析的に補正できるか？
• RQ3 FR の補正項はヘッセ行列の構造から導出可能であり、応答リッジに沿うように保証できるか？
• RQ4 前処理および正のモーメンタムと組み合わせた場合でも、FR は収束保証を維持できるか？
• RQ5 FR は GAN の学習およびトゥイミニマックス問題の解法において、GDA や他の最近年のミニマックスアルゴリズムを上回る性能を示せるか？

主な発見

• FR は、GDA が非ミニマックス固定点に収束するのとは異なり、局所的ミニマックス点にのみ保証された収束を達成する。
• アルゴリズムは勾配フローにおける回転ダイナミクスを排除し、GDA よりも顕著に大きな学習率を許容する。
• 前処理を適用した場合、FR は 50,000 イテレーションで収束するが、バニラ FR では 500,000 イテレーションを要するため、前処理の有効性が明確に示された。
• 正のモーメンタムを用いることで、混合ガウス分布ベンチマークにおいて FR の収束が約 3 倍速くなり、γ=0.9 の条件下で 10,000 イテレーションで収束を達成した。
• FR は GAN の学習収束性を向上させ、モード崩壊を低減し、勾配ノルムが低く抑えられ、生成サンプルの忠実度が向上した。
• スペクトル解析により、ヘッセ行列のシュール補行列が半正定値であり、ディスクライマネーターのヘッセ行列が半負定値であることが確認され、理論的仮定の妥当性が裏付けられた。