[論文レビュー] Last iterate convergence in no-regret learning: constrained min-max optimization for convex-concave landscapes

Qi Lei, Sai Ganesh Nagarajan+2 more|arXiv (Cornell University)|Feb 17, 2020

Advanced Bandit Algorithms Research参考文献 14被引用数 14

ひとこと要約

本稿は、凸-凹なミニマックス最適化問題における、予測的乗法的重み更新（OMWU）の局所的最終反復収束を確立する。従来の結果は双線形ケースに限定されていたが、本稿はそれを拡張する。この手法は、レートに依存しないオンライン学習に基づくもので、追加の勾配ステップや非オンライン情報の必要なしに、安定した点的収束を達成し、収束のロバスト性とハイパーパrameterへの感受性において、標準的手法を上回る。

ABSTRACT

In a recent series of papers it has been established that variants of Gradient Descent/Ascent and Mirror Descent exhibit last iterate convergence in convex-concave zero-sum games. Specifically, \cite{DISZ17, LiangS18} show last iterate convergence of the so called "Optimistic Gradient Descent/Ascent" for the case of extit{unconstrained} min-max optimization. Moreover, in \cite{Metal} the authors show that Mirror Descent with an extra gradient step displays last iterate convergence for convex-concave problems (both constrained and unconstrained), though their algorithm does not follow the online learning framework; it uses extra information rather than extit{only} the history to compute the next iteration. In this work, we show that "Optimistic Multiplicative-Weights Update (OMWU)" which follows the no-regret online learning framework, exhibits last iterate convergence locally for convex-concave games, generalizing the results of \cite{DP19} where last iterate convergence of OMWU was shown only for the extit{bilinear case}. We complement our results with experiments that indicate fast convergence of the method.

研究の動機と目的

• OMWUの凸-凹なミニマックス最適化における最終反復収束を確立し、従来の双線形設定に限定された結果を拡張する。
• OMWUを、レートに依存しないオンライン学習フレームワーク内で分析し、更新に過去のデータのみを用いることを保証する。
• OMWUが制約付き凸-凹な形状において安定した点的収束を達成できることを示す。
• OMWUを、投影型予測的勾配降下法（OGDA）と実験的に比較し、学習率と初期化に対するロバスト性を強調する。

提案手法

• OMWUはエントロピー正則化付きのオンライン学習アルゴリズムとして適用され、過去の勾配と次のステップの予測に基づく更新戦略を採用する。
• アルゴリズムは、収束の安定化に寄与する先行予測項を組み込んだ予測ベースの更新ルールを用いる。
• 収束は、凸-凹な設定におけるOMWUダイナミクスの固定点まわりの局所的解析によって証明される。
• 手法は単体制約の下で動作し、訓練中に反復値が確率単体内に保たれるようにする。
• 実験では、収束速度と安定性を測定するために、KL発散とl1誤差を用いる。問題サイズと学習率の変動にわたる収束を評価する。
• 比較実験には、同一条件下でのロバスト性と収束速度を評価するための投影型OGDAを含む。

実験結果

リサーチクエスチョン

• RQ1 OMWUは、双線形ケースに限らない凸-凹なミニマックス問題において、最終反復収束を示すか？
• RQ2 OMWUの収束行動は、学習率と初期化に対するロバスト性において、投影型OGDAと比べてどう異なるか？
• RQ3 問題サイズと学習率の変動が、OMWUの収束速度と安定性に与える影響は何か？
• RQ4 OMWUは、追加の勾配情報や非オンライン更新を用いずに、グローバル収束を達成できるか？

主な発見

• OMWUは、凸-凹なミニマックス問題において局所的最終反復収束を達成し、従来の双線形関数に限定された結果を一般化する。
• 実験では、OMWUが異なる問題サイズ（n = 25 から 250）と学習率（η ∈ {0.01, 0.1, 1.0, 10.0}）において、グローバルかつ安定に収束することが示された。
• OMWUは、学習率の選択に対して、投影型OGDAよりも感受性が低く、大きなステップサイズでは発散し、小さなステップサイズでは遅く進む傾向があるOGDAと比較して優れている。
• すべてのテスト設定において、KL発散が単調に減少し、均衡点への一貫した収束を示している。
• 10回のランダム初期化において、OMWUは低分散を維持し、図における影付き領域が狭い標準偏差を示している。
• 低次元の凸-凹な例では、OMWUの軌道が明確に均衡点へ向かって進行しており、安定的で予測可能なダイナミクスを確認できる。