[論文レビュー] Co-action equilibria and strategy switchings in a stochastic minority game

V. Sasidevan, Deepak Dhar|arXiv (Cornell University)|Dec 29, 2012

Complex Systems and Time Series Analysis被引用数 3

ひとこと要約

この論文は、時間割引報酬を伴う確率的少数者ゲームにおいて、ナッシュ均衡の優れた代替案として共行動均衡を提案する。幾何的割引因子λを用いて期待加重未来報酬を最適化することで、モデルは共行動均衡がナッシュ均衡よりも高い平均報酬をもたらすことを示しており、λの変化に伴い戦略パラメータが不連続に変化する——これは少数のエージェント数（N ≤ 7）に対しても同様に観察される。

ABSTRACT

We study a variation of the minority game, in which each agent uses a probabilistic strategy, and tries to optimize her total expected weighted future payoff, the weight of the payoff after $ au$ days being $(1 - \lambda) \lambda^ au$, with $\lambda < 1$. We show that standard Nash equilibrium concept is unsatisfactory in this case, and propose an alternative, called co-action equilibrium. We study the co-action equilibrium steady state of the system as $\lambda$ is varied from 0 to 1, and show that it gives a higher expected payoff than the Nash equilibrium for all agents. Parameters of the optimal strategy depend on $\lambda$, and can change discontinuously as $\lambda$ is varied, even for a finite number of agents. We analyse in detail the optimal strategies when the number of agents $N \leq 7$, and they decide selfishly, using only previous day's outcome.

研究の動機と目的

• 時間割引報酬を伴う動的で確率的な少数者ゲームにおいて、ナッシュ均衡の限界を克服すること。
• 幾何的割引因子λを用いて期待未来報酬を最適化するエージェントをモデル化すること。
• λを0から1に変化させた際の最適戦略の変化、特に少数のエージェント数（N ≤ 7）における挙動を分析すること。
• 共行動均衡がナッシュ均衡よりも高い報酬をもたらす条件を同定すること。
• 有限のエージェント数であっても、最適戦略に不連続な変化が生じるかを調査すること。

提案手法

• 過去1日分の結果に基づく確率的戦略を用いるエージェントを含む確率的少数者ゲームを形式化する。
• 将来τ日後の報酬に重み(1−λ)λ^τを割り当て、λ < 1である時間割引報酬関数を定義する。
• ナッシュ均衡よりも協調的かつ先制的な行動をよりよく捉える共行動均衡を解概念として提案する。
• λを[0,1]の範囲で変化させ、定常状態の共行動均衡を解析し、最適戦略プロファイルを求める。
• 解析的および数値的手法を用いて、N ≤ 7のエージェントに対して自己中心的かつ履歴依存の意思決定ルール下での最適戦略を計算する。
• 異なるλ値における共行動均衡とナッシュ均衡の下での期待報酬を比較する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なナッシュ均衡の概念は、この時間割引報酬を伴う確率的少数者ゲームの文脈では不適切なのか？
• RQ2 期待報酬および戦略的連携の観点から、共行動均衡はナッシュ均衡をどのように改善するのか？
• RQ3 割引因子λを0から1に変化させた際、最適戦略パラメータはどのように変化するのか？
• RQ4 エージェント数が有限かつ少数（N ≤ 7）であっても、最適戦略に不連続な遷移が生じるのか？
• RQ5 期待報酬の観点から、共行動均衡はナッシュ均衡に対してどの程度の定量的パフォーマンス向上を達成するのか？

主な発見

• 共行動均衡は、すべてのλの値において、すべてのエージェントに対してナッシュ均衡よりも高い期待報酬を一貫して達成する。
• 最適戦略パラメータはλに強く依存しており、λの変化に伴い、N ≤ 7の少数のエージェント数に対しても不連続な変化を示す。
• 戦略選択において非単調な挙動が観察され、λの滑らかな変化に対しても最適行動に急激なシフトが生じる。
• N ≤ 7の範囲では、解析的および数値的解法を用いて、自己中心的かつ履歴依存の意思決定ルール下での最適戦略を完全に同定している。
• 幾何的割引機構(1−λ)λ^τは時間的好みを効果的にモデル化し、協調的かつ先制的な行動の出現を可能にする。
• 結果は、共行動均衡が理論的に望ましいだけでなく、報酬パフォーマンスの観点から実務的にも優れていることを示している。