[論文レビュー] Last-Iterate Convergence: Zero-Sum Games and Constrained Min-Max Optimization

Constantinos Daskalakis, Andrew Ilyas+2 more|arXiv (Cornell University)|Oct 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 109

ひとこと要約

この論文では、Wasserstein GANの学習における限界サイクルと不安定性を解消するために、Optimistic Mirror Descent (OMD) を提案する。予測可能な相手の動的特性を活用することで、OMDは双線形ゼロサムゲームにおいて最後の反復収束を達成する。これは、標準的勾配降下法（GD）とは異なり、サイクルを示す。実験では、OMDがDNA配列生成におけるKLダイバージェンスを低減し、Optimistic Adamを用いることでCIFAR10におけるインceptionスコアを向上させることを示した。

ABSTRACT

Motivated by applications in Game Theory, Optimization, and Generative Adversarial Networks, recent work of Daskalakis et al [Daskalakis et al., ICLR, 2018] and follow-up work of Liang and Stokes [Liang and Stokes, 2018] have established that a variant of the widely used Gradient Descent/Ascent procedure, called "Optimistic Gradient Descent/Ascent (OGDA)", exhibits last-iterate convergence to saddle points in unconstrained convex-concave min-max optimization problems. We show that the same holds true in the more general problem of constrained min-max optimization under a variant of the no-regret Multiplicative-Weights-Update method called "Optimistic Multiplicative-Weights Update (OMWU)". This answers an open question of Syrgkanis et al [Syrgkanis et al., NIPS, 2015]. The proof of our result requires fundamentally different techniques from those that exist in no-regret learning literature and the aforementioned papers. We show that OMWU monotonically improves the Kullback-Leibler divergence of the current iterate to the (appropriately normalized) min-max solution until it enters a neighborhood of the solution. Inside that neighborhood we show that OMWU becomes a contracting map converging to the exact solution. We believe that our techniques will be useful in the analysis of the last iterate of other learning algorithms.

研究の動機と目的

• GAN学習における不安定性と限界サイクル、特にWasserstein GANにおけるそれらを解消すること。
• 平均ではなく最後の反復が均衡に収束することを保証する学習アルゴリズムの開発。
• 生成モデルにおけるサンプル品質と分布の類似性の向上。
• Adamのような適応的最適化手法に対しても「楽観的」アプローチを拡張し、GANのパフォーマンスを向上させること。
• OMDがGDおよびその変種よりも単純および複雑な生成タスクにおいて優れているという理論的および実験的証拠の提供。

提案手法

• 予測可能な相手の更新を活用することで収束を改善する、OMDをGANの学習に適用する。
• 先行予測を組み込んだ、Adamの楽観的変種であるOptimistic Adamを導入する。
• 双線形ゼロサムゲームの動的特性を用いて、OMDとGDの収束行動を理論的に分析する。
• WGANにおける学習の安定化のため、勾配ペナルティと重み初期化を採用する。
• DNA配列生成およびCIFAR10画像生成の両タスクで、OMDとGDの変種を比較する実験を実施する。
• 定量的評価のため、DNAタスクではKLダイバージェンス、CIFAR10タスクではインセプションスコアを測定する。

実験結果

リサーチクエスチョン

• RQ1 OMDは、標準的GDとは異なり、双線形ゼロサムゲームにおいて最後の反復収束を達成できるか？
• RQ2 複雑で非凸な目的関数を持つ場合でも、OMDはGAN学習における限界サイクルを排除できるか？
• RQ3 楽観的アプローチは、DNA配列生成のような現実世界の生成モデルタスクでパフォーマンスを向上させられるか？
• RQ4 Optimistic Adamは、CIFAR10における画像生成タスクで標準的Adamを上回る性能を示すか？
• RQ5 単純な分布学習設定において、OMDとGDのダイナミクスにどのような定性的な差があるか？

主な発見

• OMDは双線形ゼロサムゲームにおいて均衡に収束するが、GDは持続的な限界サイクルを示す。
• 単純な平均推定タスクにおいて、OMDは点収束を達成するが、勾配ペナルティやモーメンタムの修正を施してもGDはサイクルを示し続ける。
• DNA配列生成タスクでは、OMDで学習されたモデルがGDの変種よりも一貫して低いKLダイバージェンスを達成する。
• Optimistic Adamは、1:1の学習比において、標準的AdamよりもCIFAR10で高いインセプションスコアを達成する。
• 理論的分析により、OMDはFTRLに基づくGDの変種よりも速いレグレットレートと、より良好な最悪ケース収束保証を達成することが示された。
• 実験結果により、最後の反復収束が達成可能であり、GAN学習の安定性とパフォーマンス向上に有益であることが確認された。