[論文レビュー] Revisiting Stochastic Extragradient

Konstantin Mishchenko, Dmitry Kovalev+3 more|arXiv (Cornell University)|May 27, 2019

Model Reduction and Neural Networks参考文献 20被引用数 17

ひとこと要約

本稿では、より良い暗黙的更新の近似により収束を安定化させる、洗練されたサンプリング戦略を備えた新しい確率的エクストラグラデント法を提案する。これは、双線形問題における従来の手法（例：Mirror-Prox）の根本的な発散問題を解消する。この手法は鞍点問題においてより速い収束を達成し、GANの学習においても有望な結果を示すが、反復コストの増加によりデータ効率の向上は限定的である。

ABSTRACT

We fix a fundamental issue in the stochastic extragradient method by providing a new sampling strategy that is motivated by approximating implicit updates. Since the existing stochastic extragradient algorithm, called Mirror-Prox, of (Juditsky et al., 2011) diverges on a simple bilinear problem when the domain is not bounded, we prove guarantees for solving variational inequality that go beyond existing settings. Furthermore, we illustrate numerically that the proposed variant converges faster than many other methods on bilinear saddle-point problems. We also discuss how extragradient can be applied to training Generative Adversarial Networks (GANs) and how it compares to other methods. Our experiments on GANs demonstrate that the introduced approach may make the training faster in terms of data passes, while its higher iteration complexity makes the advantage smaller.

研究の動機と目的

• 無限大な定義域を持つ双線形問題において、確率的エクストラグラデント法（Mirror-Prox）が根本的に発散する問題を解決すること。
• 暗黙的更新をよりよく近似する新しいサンプリング戦略を開発し、安定性と収束性を向上させること。
• 既存の研究よりも広い設定において、確率的エクストラグラデントの収束保証を提供すること。
• 本手法の性能を、双線形鞍点問題および生成対抗ネットワーク（GAN）の学習において評価すること。
• モーメンタムの変種がエクストラグラデント更新の収束ダイナミクスに与える影響を調査すること。

提案手法

• 確率的エクストラグラデントにおける暗黙的更新の近似を改善する新しいサンプリング戦略を導入し、従来手法の悪化する分散処理を回避する。
• 二段階更新を採用：まず確率的勾配を用いて予測された拡張点を計算し、その後で第二の勾配ステップで反復点を更新する。
• 最初のステップで正のモーメンタム、第二のステップで負のモーメンタムを用いるモーメンタム変種を採用し、近似誤差を補正する。
• 双線形問題における収束解析を通じて、更新行列の固有値半径を用い、モーメンタムの選定を支援する。
• 標準的および条件付きGANの両設定において、Adamおよび楽観的ミラー降下法と比較して、GAN学習に本手法を適用する。
• 二重勾配計算モデルを採用し、公平な比較のため、1回のExtraAdam反復を2回と数える。

実験結果

リサーチクエスチョン

• RQ1 元々のMirror-Prox法が無限大な定義域を持つ双線形問題でなぜ発散するのか、そしてその問題をどのように修正できるか？
• RQ2 確率的エクストラグラデントのための新しいサンプリング戦略が、暗黙的更新の近似を改善し、収束を保証できるか？
• RQ3 GAN学習において、本手法は楽観的ミラー降下法およびAdamと比較して、収束速度と安定性の面で優れているか？
• RQ4 モーメンタムはエクストラグラデント更新の安定性にどのような役割を果たすのか、正のモーメンタムと負のモーメンタムのバランスはどのようにとるべきか？
• RQ5 本手法の高い反復コストは、データ効率の高い学習における実用的利点をどの程度制限するのか？

主な発見

• 提案手法は、双線形鞍点問題において他の手法よりも速い収束を示し、実用的性能の向上を確認した。
• より良いサンプリング戦略により、暗黙的更新をより正確に近似することで、無限大な双線形問題におけるMirror-Proxの発散問題が解消された。
• 数値実験の結果、最初のステップで正のモーメンタム、第二のステップで負のモーメンタムを用いることで、収束速度と安定性が向上した。
• GAN学習においては、データパスの観点から収束が速くなったが、反復コストの増加により、Adamとの総合的な利点は減少した。
• 双線形問題において、第二のステップにおける最適な負のモーメンタム値は、学習率に依存せず、一貫して約-0.3に近い値を示した。
• 固有値半径の解析により、最初のステップで正のモーメンタムを用いることで、標準的なエクストラグラデント（モーメンタムなし）と比較して乗法的スピードアップが得られると確認された。