[論文レビュー] Faster Rates for Convex-Concave Games

Jacob Abernethy, Kevin A. Lai+2 more|arXiv (Cornell University)|May 17, 2018

Advanced Bandit Algorithms Research参考文献 20被引用数 11

ひとこと要約

本稿では、no-regret学習アルゴリズムを用いて凸・凹ゲームの収束速度を高速化する手法を提案し、予測の予測に基づく方法により $O(1/T^2)$ の収束速度を達成するとともに、曲率仮定のもとで線形収束速度 $O(e^{-T})$ を達成する。これらの結果は、Frank-Wolfe法と関連づけられ、既知の高速収束速度が回復され、オンライン学習フレームワークを用いて拡張される。

ABSTRACT

We consider the use of no-regret algorithms to compute equilibria for particular classes of convex-concave games. While standard regret bounds would lead to convergence rates on the order of $O(T^{-1/2})$, recent work \citep{RS13,SALS15} has established $O(1/T)$ rates by taking advantage of a particular class of optimistic prediction algorithms. In this work we go further, showing that for a particular class of games one achieves a $O(1/T^2)$ rate, and we show how this applies to the Frank-Wolfe method and recovers a similar bound \citep{D15}. We also show that such no-regret techniques can even achieve a linear rate, $O(\exp(-T))$, for equilibrium computation under additional curvature assumptions.

研究の動機と目的

• 標準的な $O(T^{-1/2})$ のレジットバウンドを上回る、凸・凹ゲームにおける均衡計算の収束速度の向上を目的とする。
• 最近得られた $O(1/T)$ のレジットバウンドを、より強い構造的仮定のもとで $O(1/T^2)$ に拡張することを目的とする。
• no-regretアルゴリズムが曲率仮定のもとで線形収束速度 $O(e^{-T})$ を達成する条件を確立することを目的とする。
• これらの高速収束速度をFrank-Wolfe法と関連づけ、既知の収束バウンドを回復または改善することを目的とする。

提案手法

• 将来の勾配推定を組み込む予測の予測に基づくアルゴリズムを活用し、リスクを低減し収束を加速する。
• オンライン学習フレームワークを零和凸・凹ゲームに適用し、プレイヤー戦略を反復的に更新される方策としてモデル化する。
• レジット解析が非線形から指数的減衰に移行できるよう、曲率に基づく仮定を導入する。
• 強い凸性および滑らかさの条件下で、双対ギャップとレジット分解を分析することにより収束速度を導出する。
• Frank-Wolfe法をno-regret学習の一種として再解釈し、オンライン凸最適化のツールを用いてレート解析を可能にする。
• レジットと双対ギャップの双対性を用いて、累積レジットの観点から均衡への距離をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 より強い構造的仮定のもとで、no-regretアルゴリズムは凸・凹ゲームにおいて $O(1/T^2)$ の収束速度を達成できるか？
• RQ2 曲率条件は、零和ゲームにおけるno-regret学習の収束速度にどのように影響するか？
• RQ3 オンライン学習の観点からFrank-Wolfe法を解析することで、既知の収束速度を回復または改善できるか？
• RQ4 予測の予測と鞍点問題における加速収束の関係は何か？
• RQ5 no-regret学習が均衡計算において、どのような条件下で線形収束速度 $O(e^{-T})$ を達成するか？

主な発見

• 本稿では、適切な滑らかさおよび強い凸性仮定のもとで、予測の予測に基づくno-regretアルゴリズムを用いて、凸・凹ゲームの収束速度が $O(1/T^2)$ であることを確立した。
• 追加の曲率仮定のもとで、本手法は線形収束速度 $O(e^{-T})$ を達成し、多項式レートよりも著しく高速である。
• Frank-Wolfe法は、予測付きno-regret学習アルゴリズムとして解釈された場合、$O(1/T^2)$ の収束速度を達成することが示された。
• 解析により、双対ギャップがレジットと同じレートで減少することが示され、均衡計算におけるタイトなバウンドが可能となった。
• 本研究の結果は、既存の $O(1/T)$ のレートを一般化し、オンライン学習、鞍点問題、一次元最適化手法を統合する包括的なフレームワークを提供した。