[論文レビュー] Learning in Games: Robustness of Fast Convergence

Dylan J. Foster, Zhiyuan Li+3 more|arXiv (Cornell University)|Jun 20, 2016

Advanced Bandit Algorithms Research参考文献 11被引用数 20

ひとこと要約

本稿では、限られたフィードバックのもとでも反復ゲームにおける近似的最適性への高速収束を確立するための包括的枠組みとして、低近似的レギュレート（Low Approximate Regret）性を導入する。実現された報酬またはバンディットフィードバックの下でも、広く使われている学習アルゴリズム（vanilla Hedgeを含む）が高確率でO(1/T)の収束速度を達成することを示し、先行研究に比べてn（プレイヤー数）の要因で改善され、高頻度のプレイヤー入れ替えを伴う動的プレイヤー集団にも拡張可能である。

ABSTRACT

We show that learning algorithms satisfying a $ extit{low approximate regret}$ property experience fast convergence to approximate optimality in a large class of repeated games. Our property, which simply requires that each learner has small regret compared to a $(1+ε)$-multiplicative approximation to the best action in hindsight, is ubiquitous among learning algorithms; it is satisfied even by the vanilla Hedge forecaster. Our results improve upon recent work of Syrgkanis et al. [SALS15] in a number of ways. We require only that players observe payoffs under other players' realized actions, as opposed to expected payoffs. We further show that convergence occurs with high probability, and show convergence under bandit feedback. Finally, we improve upon the speed of convergence by a factor of $n$, the number of players. Both the scope of settings and the class of algorithms for which our analysis provides fast convergence are considerably broader than in previous work. Our framework applies to dynamic population games via a low approximate regret property for shifting experts. Here we strengthen the results of Lykouris et al. [LST16] in two ways: We allow players to select learning algorithms from a larger class, which includes a minor variant of the basic Hedge algorithm, and we increase the maximum churn in players for which approximate optimality is achieved. In the bandit setting we present a new algorithm which provides a "small loss"-type bound with improved dependence on the number of actions in utility settings, and is both simple and efficient. This result may be of independent interest.

研究の動機と目的

• 実現報酬やバンディットフィードバックといった最小限のフィードバック仮定のもとで、反復ゲームにおける近似的最適性への高速収束を確立すること。
• プレイヤーが時間とともに加入・退場する動的プレイヤー集団ゲームに対しても収束保証を拡張すること。
• vanilla Hedgeを含む広範な学習アルゴリズムが低近似的レギュレート性を満たすことを示し、高速収束を可能にすること。
• 先行研究に比べて収束速度をn倍改善しつつ、高確率での収束を維持すること。
• 滑らかなゲームやメカニズムにおけるノーレギュレート学習に関する既存の結果を統合・強化する一般枠組みを提供すること。

提案手法

• 低近似的レギュレート性を導入：アルゴリズムのレギュレートが、後悔の下界が(1+ε)倍の最良行動の後悔に、劣化項を加えた形で有界になること。
• レギュレートの一部をコンパレータ項に組み込む独自の解析手法を用い、加法的および乗法的近似のトレードオフを可能にする。
• 定数学習率を用いるHedgeのような標準的アルゴリズムが、A(d,T) = (e−1)log(d)で低近似的レギュレート性を満たすことを証明する。
• ランダム化された行動サンプリングと期待値ベースのレギュレートバウンドを用いて、バンディットフィードバックへの解析を適応する。
• 時間変動する行動分布の上での後悔をバウンドすることで、変化するエキスパートや動的プレイヤー集団への枠組みの拡張を行う。
• 滑らかなメカニズムや費用最小化ゲームにこの枠組みを適用し、価格の悪化度パラメータを用いて社会的厚生のバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 期待報酬フィードバックではなく、実現報酬フィードバックのもとでも、近似的最適性への高速収束を保証できるか？
• RQ2 vanilla Hedgeのような広く使われている学習アルゴリズムが低近似的レギュレート性を満たし、それが高速収束を意味するか？
• RQ3 プレイヤーの入れ替え率が高い動的ゲームでも、先行研究に比べて収束速度をn倍改善できるか？
• RQ4 選択された行動の報酬しか観測できないバンディットフィードバック設定へもこの枠組みを拡張できるか？
• RQ5 時間変動するプレイヤー集合や高い入れ替え率を伴う状況へも一般化可能か？

主な発見

• 定数学習率を用いるvanilla Hedgeアルゴリズムは、A(d,T) = (e−1)log(d)で低近似的レギュレート性を満たす。
• 実現報酬のもとでも、高確率でO(1/T)の速度で近似的最適性への収束が達成され、先行研究に比べてn倍の改善が得られる。
• 最大O(n)のプレイヤー入れ替えが1ラウンドに発生する動的プレイヤー集団ゲームに対しても、この枠組みが適用可能であり、先行研究を著しく拡張する。
• バンディットフィードバック設定では、新たなアルゴリズムが「小さな損失」型のバウンドを達成し、行動数に依存する依存性が改善される。
• 滑らかなメカニズムでは、平均社会的厚生が以下の不等式を満たす：(1/T)∑𝔼[SW(sᵗ)] ≥ (λ/max(μ,1+ε))Opt + (n/T)⋅(1/max(μ,1+ε))⋅(A(d,T)/ε)。
• この解析により、滑らかなゲームにおける高速収束に関する先行研究（Optimistic Mirror Descent や Follow the Regularized Leader の結果を含む）が統合・強化される。