[論文レビュー] Optimistic mirror descent in saddle-point problems: Going the extra (gradient) mile

Panayotis Mertikopoulos, Bruno Lecouat+4 more|arXiv (Cornell University)|Jul 7, 2018

Advanced Numerical Methods in Computational Mathematics参考文献 3被引用数 111

ひとこと要約

この論文は、一貫性によって定義される非単調鞍点問題に対するミラー下降法を分析し、追加勾配ステップを伴う楽観的ミラー下降法（OMD）を導入し、収束結果を証明し、GANなどのモデルで経験的な利得を検証する。

ABSTRACT

Owing to their connection with generative adversarial networks (GANs), saddle-point problems have recently attracted considerable interest in machine learning and beyond. By necessity, most theoretical guarantees revolve around convex-concave (or even linear) problems; however, making theoretical inroads towards efficient GAN training depends crucially on moving beyond this classic framework. To make piecemeal progress along these lines, we analyze the behavior of mirror descent (MD) in a class of non-monotone problems whose solutions coincide with those of a naturally associated variational inequality - a property which we call coherence. We first show that ordinary, "vanilla" MD converges under a strict version of this condition, but not otherwise; in particular, it may fail to converge even in bilinear models with a unique solution. We then show that this deficiency is mitigated by optimism: by taking an "extra-gradient" step, optimistic mirror descent (OMD) converges in all coherent problems. Our analysis generalizes and extends the results of Daskalakis et al. (2018) for optimistic gradient descent (OGD) in bilinear problems, and makes concrete headway for establishing convergence beyond convex-concave games. We also provide stochastic analogues of these results, and we validate our analysis by numerical experiments in a wide array of GAN models (including Gaussian mixture models, as well as the CelebA and CIFAR-10 datasets).

研究の動機と目的

• バニラのミラー下降法が、変分不等式との一貫性を満たす非単調な鞍点問題における限界を動機づけて分析する。
• 安定化と収束を保証するために、追加勾配ステップを用いた楽観的ミラー下降法（OMD）を導入する。
• 厳密な一貫性および確率的設定におけるOMDの収束保証を確立する。
• 確率的類推形式を提供し、複数のデータセットに対するGAN関連の実験を通じて理論を検証する。

提案手法

• 変数を x=(x1,x2) とする微分可能な目的関数 f によって鞍点問題をモデル化する。
• 勾配ベクトル g(x)=(∇x1 f(x1,x2), -∇x2 f(x1,x2)) を定義し、関連する VI との一貫性を検討する。
• 距離生成関数 h を用いて、ミラー下降法（MD）のBregman発散とプロックス mappings を定義する。
• vanilla MD は、null-coherent 場合で、消失するステップサイズでも発散または振動する可能性があることを示す。
• 追加勾配ステップを付加して、OMD を導入する：中間点 x+ を計算し、その後 g(x+) を用いて更新する。
• 収束結果を証明する：一貫性の下でのOMDによるD(x*,Xn)の単調収束；確率的設定におけるほぼ確実な収束；二線形および凸-凹のケースについての系としての導出。

実験結果

リサーチクエスチョン

• RQ1 バニラのミラー下降法は、非単調で一貫性のある鞍点問題でいつ収束するのか？
• RQ2 追加勾配（楽観的）ステップは、一貫性および厳密な一貫性の設定でMDを安定化し、収束を保証できるか？
• RQ3 OMD の確率的鞍点問題における収束保証は？
• RQ4 理論的な利得はGANのトレーニングや他の非凸二項関係・多モード設定で実際の改善に繋がるか？
• RQ5 一貫性の性質（厳密 vs null）は、MDとOMDの振る舞いにどう影響するか？

主な発見

• Vanilla MD は、null-coherent（例：二線形）問題で収束しないか循環する可能性があり、固有解が存在しても例外は存在する。
• 追加勾配ステップを備えたOMDは、null-coherent を含むすべての一貫性のある問題で収束を保証し、解へのBregman距離が単調に減少する。
• 厳密に一貫性のある問題では、確率的設定におけるOMDはほぼ確実に鞍点へ収束し、解へのBregman距離は単調に減少する。
• 二線形問題においては、OMDは単調収束を保証する。一方、vanilla MD は発散する可能性がある。
• 実験は、AdamやRMSPropに追加勾配ステップを加えるとGANsの循環や振動を抑制し、CelebAおよびCIFAR-10でInceptionスコアとFréchet距離を改善することを示している。