[論文レビュー] Learning Nash Equilibria in Congestion Games

Walid Krichene, Benjamin Drighès+1 more|arXiv (Cornell University)|Jul 31, 2014

Advanced Bandit Algorithms Research参考文献 14被引用数 6

ひとこと要約

この論文は、反復的混雑ゲームにおけるオンライン学習ダイナミクスの収束を研究し、プレイヤーが部分線形割引レグレットを有するアルゴリズムを使用する場合、集団戦略がナッシュ均衡に収束することを示している。本稿では、強い収束を保証する近似リプリケーター動的を特徴づけるAREPクラスのアルゴリズムを導入している。特に、割引Hedgeアルゴリズムもこれに含まれる。

ABSTRACT

We study the repeated congestion game, in which multiple populations of players share resources, and make, at each iteration, a decentralized decision on which resources to utilize. We investigate the following question: given a model of how individual players update their strategies, does the resulting dynamics of strategy profiles converge to the set of Nash equilibria of the one-shot game? We consider in particular a model in which players update their strategies using algorithms with sublinear discounted regret. We show that the resulting sequence of strategy profiles converges to the set of Nash equilibria in the sense of Cesàro means. However, strong convergence is not guaranteed in general. We show that strong convergence can be guaranteed for a class of algorithms with a vanishing upper bound on discounted regret, and which satisfy an additional condition. We call such algorithms AREP algorithms, for Approximate REPlicator, as they can be interpreted as a discrete-time approximation of the replicator equation, which models the continuous-time evolution of population strategies, and which is known to converge for the class of congestion games. In particular, we show that the discounted Hedge algorithm belongs to the AREP class, which guarantees its strong convergence.

研究の動機と目的

• 反復的混雑ゲームにおけるオンライン学習ダイナミクスがナッシュ均衡に収束するかどうかを調査すること。
• 戦略系列の収束を保証するための割引レグレットの役割を分析すること。
• 強い収束（Cesàro平均収束にとどまらない）が発生する条件を特徴づけること。
• AREP（近似リプリケーター）クラスのアルゴリズムを導入し、連続時間のリプリケーター方程式の離散時間近似として形式化すること。
• Hedge やリプリケーター動的といった特定の学習アルゴリズムが混雑ゲームにおいて収束保証を満たすことを確立すること。

提案手法

• プレイヤーが割引レグレットを有するオンライン学習アルゴリズムで戦略を更新する反復的混雑ゲームをモデル化する。
• 消える割合因子の列 \/(\gamma_\tau)\/ を用いて割引レグレットを定義し、最近の損失を過去の損失よりも重視する。
• 割引レグレットに上限が消えることと、追加の正則性条件を満たすアルゴリズムのクラスであるAREP（近似リプリケーター）を導入する。
• 収束解析にRosenthalポテンシャル関数 $V$ をリャプノフ関数として用いる。
• Cesàro平均収束を適用し、部分線形割引レグレットが平均戦略がナッシュ均衡集合に収束することを示す。
• ダイナミクスがAREPであり、部分線形割引レグレットを満たす場合、実際の戦略系列 $\mu^{(\tau)}$ の強い収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 反復的混雑ゲームにおけるオンライン学習ダイナミクスがナッシュ均衡に収束する条件は何か？
• RQ2 戦略プロファイルの強い収束を保証できるのか、それともCesàro平均収束にとどまるのか？
• RQ3 混雑ゲームにおけるナッシュ均衡への収束を保証するため、学習アルゴリズムが満たすべき性質は何か？
• RQ4 割引Hedgeアルゴリズムは、混雑ゲームにおける収束性においてどのように機能するか？
• RQ5 連続時間のリプリケーター動的を離散時間で効果的に近似できるか、収束を保証できるか？

主な発見

• プレイヤーが部分線形割引レグレットを有するアルゴリズムを使用する場合、集団戦略のCesàro平均の系列はナッシュ均衡集合に収束する。
• 一般に、部分線形割引レグレットのもとでは、実際の戦略系列 $\mu^{(\tau)}$ の強い収束は保証されない。
• 部分線形割引レグレットと追加の正則性条件を満たすAREPクラスのアルゴリズムは、ナッシュ均衡への強い収束を保証する。
• 割引HedgeアルゴリズムはAREPクラスに属し、したがってナッシュ均衡集合への強い収束を保証する。
• 仮定2を満たし、$\gamma_\tau \leq 1/2$ を満たす学習率を有するリプリケーター動的（REP）も、ナッシュ均衡への強い収束を保証する。
• シミュレーションにより、割引HedgeとREP動的の両方がナッシュ均衡に収束することが確認され、学習率を減少させることで振動が抑えられ、収束が達成される。