[論文レビュー] Near-Optimal No-Regret Learning Dynamics for General Convex Games

Gabriele Farina, Ioannis Anagnostides+4 more|arXiv (Cornell University)|Jun 17, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、一般の凸ゲームにおける任意の凸かつコンpactな戦略集合を想定し、新たなノーレグレット学習アルゴリズムであるLRL-OFTRLを提案する。上昇空間における自己共形正則化子（バリア関数ではない）を用いた予測的フォローザレギュライズドリーダー（OFTRL）フレームワークを活用することで、各プレイヤーのレグレットが$O(\log T)$に抑えられ、従来の$O(\sqrt{T})$の境界を著しく改善しつつ、$O(\log\log T)$の反復ごとの計算複雑性を有する近位オракルを介して効率的に実装可能である。

ABSTRACT

A recent line of work has established uncoupled learning dynamics such that, when employed by all players in a game, each player's \emph{regret} after $T$ repetitions grows polylogarithmically in $T$, an exponential improvement over the traditional guarantees within the no-regret framework. However, so far these results have only been limited to certain classes of games with structured strategy spaces -- such as normal-form and extensive-form games. The question as to whether $O( ext{polylog} T)$ regret bounds can be obtained for general convex and compact strategy sets -- which occur in many fundamental models in economics and multiagent systems -- while retaining efficient strategy updates is an important question. In this paper, we answer this in the positive by establishing the first uncoupled learning algorithm with $O(\log T)$ per-player regret in general \emph{convex games}, that is, games with concave utility functions supported on arbitrary convex and compact strategy sets. Our learning dynamics are based on an instantiation of optimistic follow-the-regularized-leader over an appropriately \emph{lifted} space using a \emph{self-concordant regularizer} that is, peculiarly, not a barrier for the feasible region. Further, our learning dynamics are efficiently implementable given access to a proximal oracle for the convex strategy set, leading to $O(\log\log T)$ per-iteration complexity; we also give extensions when access to only a \emph{linear} optimization oracle is assumed. Finally, we adapt our dynamics to guarantee $O(\sqrt{T})$ regret in the adversarial regime. Even in those special cases where prior results apply, our algorithm improves over the state-of-the-art regret bounds either in terms of the dependence on the number of iterations or on the dimension of the strategy sets.

研究の動機と目的

• 一般の凸ゲームにおけるノーレグレット学習のギャップを埋めること。これまでの結果は、正規形や展開形ゲームのような構造化されたゲームに限定されていた。
• 任意の凸かつコンパクトな戦略集合を有する一般の凸ゲームにおいて、近似最適な$O(\log T)$のレグレットを達成する、効率的に実装可能で強く結合されていない学習ダイナミクスの開発。
• ルーティング、リソース割り当て、マーケット競争モデルを含む、より広範なゲームクラスにまで、$O(\operatorname{polylog}T)$のレグレット保証を拡張すること。
• 二次または線形オラクルよりも弱い近位オラクルのみを要件とすることで、実用的な効率性を確保すること。反復ごとの計算複雑性は$O(\log\log T)$。
• 利用可能な利得が非定常的であっても、敵対的状況下で$O(\sqrt{T})$のレグレットを保証することで、ロバスト性を維持すること。

提案手法

• 戦略変数と双対変数の上昇空間における予測的フォローザレギュライズドリーダー（OFTRL）に基づく、新たな学習ダイナミクスLRL-OFTRLを提案する。
• 定義域のバリア関数ではない自己共形正則化子を用いることで、効率的な計算と強いレグレット保証を実現する。
• 正則化子が閉形式の更新とKKTシステムの簡略化を可能にする高次元空間に、プライマル戦略変数を上昇させる。
• KKTシステムを介して最適な双対変数を導出し、値関数$V_Q(t; \bm{g}, \bm{w})$の部分勾配を求める問題に還元する。この値関数が区分線形（SMPL）関数であることが示される。
• 近位オラクルを構築する際、正則化された目的関数を最小化する$t \in [0,1]$の最適値を、導関数$\lambda_Q(t; \bm{g}, \bm{w})$を用いて計算し、SMPL構造を活用して効率的な計算を実現する。
• 反復複雑度が高くなるが、より弱い線形最適化オラクルに対しても同様の手法を拡張し、より広範な適用可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 任意の凸かつコンパクトな戦略集合を有する一般の凸ゲームにおいて、効率的に実装可能で結合されていない学習アルゴリズムを用いて$O(\log T)$のレグレットを達成できるか？
• RQ2 利用可能な利得が敵対的である場合、非定常環境下でもロバスト性を保ち、$O(\sqrt{T})$のレグレット保証を維持できるか？
• RQ3 二次または線形オラクルよりも強い条件を要件とせず、近位オラクルのみを用いて効率的に実装可能か？
• RQ4 提案手法は、$T$や次元数に対するレグレット依存性において、従来の$O(\operatorname{polylog}T)$のレグレットを持つアルゴリズムを上回るか？
• RQ5 上昇と自己共形正則化子の枠組みを用いて、戦略空間における閉形式または効率的な計算可能な更新則を導出できるか？

主な発見

• 提案されたLRL-OFTRLアルゴリズムは、一般の凸ゲームにおいて各プレイヤーのレグレットが$O(\log T)$に抑えられ、古典的な$O(\sqrt{T})$の境界を著しく改善する。
• このレグレット境界は対数要因を除いて最適であり、正規形ゲームなどの構造化されたゲームにおける最良の既知の保証と一致する。
• 近位オラクルが利用可能な場合、反復ごとに$O(\log\log T)$の計算量で効率的に実装可能である。
• 敵対的状況下でもロバストであり、利用可能な利得が非定常的であっても$O(\sqrt{T})$のレグレットを保証する。
• 近位オラクルの構築は、双対微分$\lambda_Q(t; \bm{g}, \bm{w})$のSMPL（区分線形）構造に依存しており、$t \in [0,1]$上での正確かつ効率的な最小化を可能にする。
• 線形最適化オラクルのみを用いる設定に対しても、反復ごとの計算複雑度が$O(\log T)$に上昇するが、同様の手法を拡張でき、適用範囲を広げる。