[論文レビュー] Equilibrium selection via Optimal transport

Shui-Nee Chow, Wuchen Li+2 more|arXiv (Cornell University)|Mar 23, 2017

Economic theories and models参考文献 15被引用数 4

ひとこと要約

本稿では、最適輸送理論を用いて、短視眼的で利己的かつ不確実な意思決定をモデル化することで、有限プレイヤーの離散的ゲームにおける新たな学習ダイナミクスを提案する。得られるマルコフ過程の定常分布は、純粋ナッシュ均衡を安定性の観点から順序付け、β → 0 の極限において、エントロピーとフィッシャー情報量が関与するギブス測度へ収束する。特にポテンシャルゲームにおいて顕著である。

ABSTRACT

We propose a new dynamics for equilibrium selection of finite player discrete strategy games. The dynamics is motivated by optimal transportation, and models individual players' myopicity, greedy and uncertainty when making decisions. The stationary measure of the dynamics provides each pure Nash equilibrium a probability by which it is ranked. For potential games, its dynamical properties are characterized by entropy and Fisher information.

研究の動機と目的

• 有限プレイヤーの離散的ゲームにおいて、複数の純粋ナッシュ均衡を体系的に選択または順位付けする根本的問題に取り組む。
• 離散的最適輸送に基づく連続時間マルコフジャンプ過程を用いて、プレイヤーの有限合理的性（bounded rationality）を、短視眼的で利己的かつ不確実な行動としてモデル化する。
• ポテンシャルゲームにとどまらず、ダイナミクスとモース分解およびコンリ-マルコフ行列を結びつけることで、均衡選択を拡張する。
• 離散エントロピーとフィッシャー情報量を用いて収束速度を特徴づけ、特にポテンシャルゲームにおいて有効であることを示す。
• 代表的なゲーム（囚人のジレンマ、グー・チョキ・パー、非対称ゲーム）におけるフレームワークの有効性を検証し、戦略グラフの制約に対してもロバストであることを示す。

提案手法

• ダイナミクスは、有限戦略空間上での連続時間マルコフジャンプ過程として定義され、移行率はコストの改善度と合理化パラメータ β に依存する。
• 移行確率には、ノイズを含むコスト関数 u̅i(x) = ui(x) + β log ρ(t,x) が組み込まれており、ρ(t,x) は現在の戦略分布を表し、非合理的性と不確実性をモデル化する。
• 時間発展を記述するFokker-Planck方程式（FPE）は、マルコフ過程の生成作用素から導出される。
• ポテンシャルゲームでは、FPEは Wasserstein 確率空間における自由エネルギー（ポテンシャル関数 + エントロピー）の勾配流に対応する。
• 定常測度 ρ* がギブス測度であることが示され、β → 0 の極限における不変分布が、均衡の安定性を順位づける。
• 定常測度への収束速度は相対フィッシャー情報量によって特徴づけられ、ポテンシャルゲームでは指数的収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 報酬やリスクにおいて支配的な均衡がない有限離散ゲームにおいて、複数の純粋ナッシュ均衡を体系的に順位づける方法は何か？
• RQ2 短視眼的で利己的かつ不確実な行動を組み込んだ学習ダイナミクスが、均衡の唯一の選択機構を生み出すことができるか？
• RQ3 提案されたダイナミクスは、ロジットダイナミクス、虚偽的プレイ、連続的最適反応過程といった既存の枠組みとどのように関係しているか？
• RQ4 最適輸送と勾配流構造は、離散的ゲームダイナミクスにおいて果たす役割は何か？
• RQ5 戦略グラフに構造的制約が与えられた場合、非ポテンシャルゲームにおける長期的均衡選択にどのような影響を与えるか？

主な発見

• 囚人のジレンマにおいて、唯一の不変測度 ρ* は (D,D) ナッシュ均衡に完全に集中しており、これが最も安定した結果であると正しく特定している。
• 非対称ゲームでは、ρ* は (C,C) に (D,D) よりも高い確率を割り当てており、プレイヤー2のコストがより速く変化するため、(C,C) がダイナミクスにおいてより安定していることを反映している。
• 制約なしのグー・チョキ・パーでは、ρ* はすべての戦略プロファイルに一様に分布しており、対称性と優位性の欠如により、均衡に好みがないことを示している。
• プレイヤー1の戦略遷移に制約（例：チョキの後にグーができない）が課された場合、ρ* は一様ではなくなり、(r,p)、(s,s)、(p,p) が最も高い確率を示すようになり、戦略的適応が反映されている。
• 定常測度 ρ* は初期条件 ρ(0) に依存せず一意的であり、ダイナミクスのグローバル収束を示している。
• ポテンシャルゲームでは、ρ* による均衡順位付けがポテンシャル関数が誘導する順位付けと一致しており、従来の基準と整合性があることを検証した。