[論文レビュー] Linear Last-iterate Convergence for Matrix Games and Stochastic Games.

Chung‐Wei Lee, Haipeng Luo+2 more|arXiv (Cornell University)|Jun 16, 2020

Stochastic Gradient Optimization Techniques被引用数 3

ひとこと要約

本稿は、定常学習率を用いた最適化勾配降下上昇（OGDA）アルゴリズムの行列ゲームおよび滑らかな双線形関数における明示的な最終反復収束レートを確立し、追加の仮定なしに指数関数的収束を証明する。さらに、これらの結果を有限時限の確率的ゲームに一般化し、自らと対戦する際に線形の最終反復収束を達成するとともに、ゆっくりと変化する相手に対して低レグレットを達成する最初のアルゴリズムを提供する。

ABSTRACT

Optimistic Gradient Descent Ascent (OGDA) algorithm for saddle-point optimization has received growing attention due to its favorable last-iterate convergence. However, its behavior for simple two-player matrix games is still not fully understood -- previous analysis lacks explicit convergence rates, only applies to exponentially small learning rate, or requires additional conditions such as uniqueness of the optimal solution. In this work, we significantly expand the understanding of OGDA, introducing a set of sufficient conditions under which OGDA exhibits concrete last-iterate convergence rates with a constant learning rate. Specifically, we show that matrix games satisfy these conditions and OGDA converges exponentially fast without any additional assumptions. More generally, our conditions hold for smooth bilinear functions and strongly-convex-strongly-concave functions over a constrained set. We provide experimental results to further support our theory. To further demonstrate the significance of our results for matrix games, we greatly generalize the ideas to finite-horizon stochastic/Markov games and provide the first algorithm that simultaneously ensures 1) linear last-iterate convergence when playing against itself and 2) low regret when playing against an arbitrary slowly-changing opponent.

研究の動機と目的

• 2人零和行列ゲームにおけるOGDAの収束行動の理解のギャップを埋めること、特に明示的な収束レートと学習率の制約に関するものである。
• 解の一意性を要件としない定常学習率を用いたOGDAが指数関数的最終反復収束を達成する十分条件を同定すること。
• 制約付き集合上での滑らかな双線形関数および強い凸-強い凹関数への理論的枠組みの拡張。
• 有限時限の確率的／マルコフゲームへの結果の一般化。自らと対戦する際の安定な自己対戦と、適応的相手に対するロバストネスの両方を達成すること。

提案手法

• OGDAの最終反復収束を保証するゲーム構造に関する十分条件のセットを導入する。
• 行列ゲームがこれらの条件を満たすことを証明し、追加の仮定なしに指数関数的収束を導く。
• この枠組みを滑らかな双線形関数およびコンパクト集合上での強い凸-強い凹関数に適用する。
• 有限時限の確率的ゲームに適した新しいアルゴリズムを設計し、自らと対戦する際に線形の最終反復収束を保証する。
• 理論的分析により、変化の遅い相手に対して低レグレットを達成することを示し、安定性と適応性を統合する。
• リャプノフ型解析と単調な変分不等式の性質を活用して収束レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 行列ゲームにおいて、OGDAが定常学習率を用いて明示的な最終反復収束を達成する条件は何か？
• RQ2 解の一意性を要件とせず、指数的に小さい学習率を必要とせずにOGDAの収束レートを確立できるか？
• RQ3 行列ゲームの理論的枠組みを、確率的ゲームのようなより複雑な設定にどのように拡張できるか？
• RQ4 有限時限の確率的ゲームにおいて、同時に線形の最終反復収束と低レグレットを達成するアルゴリズムを設計することは可能か？

主な発見

• 解の一意性や追加の仮定を必要とせず、定常学習率を用いたOGDAは行列ゲームで指数関数的に高速に収束する。
• 収束のための十分条件は、滑らかな双線形関数および制約付き集合上での強い凸-強い凹関数へ一般化して適用可能である。
• 提案されたアルゴリズムは、有限時限の確率的ゲームにおいて自らと対戦する際に線形の最終反復収束を達成する。
• 同様のアルゴリズムは、任意のゆっくりと変化する相手に対して低レグレットを保証する。これはこの分野で初めての成果である。
• 実験結果は理論的予測を支持しており、実際の応用において高速かつ安定した収束が達成されることを示している。