[論文レビュー] An Algorithm for Computing Stochastically Stable Distributions with Applications to Multiagent Learning in Repeated Games

John R. Wicks, Amy Greenwald|arXiv (Cornell University)|Jul 4, 2012

Game Theory and Applications参考文献 8被引用数 3

ひとこと要約

本稿では、繰り返しゲームにおける長期的学習ダイナミクスの正確な予測を可能にする、マコフ連鎖における確率的安定分布を計算する初の正確なアルゴリズムを提示する。学習アルゴリズムを摂動させることで非周期性と再帰性を保証し、摂動が消える極限での分布を計算することで、確率的安定な均衡を同定する。この手法により、マルチエージェントシステムにおける均衡選択問題が解決される。

ABSTRACT

One of the proposed solutions to the equilibrium selection problem for agents learning in repeated games is obtained via the notion of stochastic stability. Learning algorithms are perturbed so that the Markov chain underlying the learning dynamics is necessarily irreducible and yields a unique stable distribution. The stochastically stable distribution is the limit of these stable distributions as the perturbation rate tends to zero. We present the first exact algorithm for computing the stochastically stable distribution of a Markov chain. We use our algorithm to predict the long-term dynamics of simple learning algorithms in sample repeated games.

研究の動機と目的

• 繰り返しゲームにおけるマルチエージェント学習における均衡選択問題を解決すること。
• マコフ連鎖における確率的安定分布を計算的に正確に特定する手法を提供すること。
• 安定分布を用いて、繰り返しゲームにおける長期的学習ダイナミクスを予測できること。
• 摂動率がゼロに近づく際の安定分布の極限を形式的に定式化し、計算可能にすること。
• ゲーム理論的マルチエージェントシステムにおける応用のための実用的なアルゴリズム的解決策を提示すること。

提案手法

• 学習アルゴリズムの基礎となるマコフ連鎖を摂動させ、非周期性とエルゴード性を保証すること。
• 小さな摂動率に対して、摂動された連鎖の唯一の定常分布を計算すること。
• 摂動率がゼロに近づく極限処理を適用し、確率的安定分布を抽出すること。
• 行列に基づく数値的手法を用いて、摂動された連鎖の定常分布を求解すること。
• 確率的安定性の理論を活用し、唯一の極限分布を同定すること。
• サンプルの繰り返しゲーム上でアルゴリズムを検証し、その予測能力を示すこと。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント学習に生じるマコフ連鎖に対して、確率的安定分布を正確に計算する方法は何か？
• RQ2 小さな確率的摂動が加えられた場合、繰り返しゲームにおける学習アルゴリズムの挙動はいかなるものか？
• RQ3 学習ダイナミクスが確率的摂動を受ける場合、繰り返しゲームでどの均衡が選択されるか？
• RQ4 摂動率がゼロに近づく際、安定分布の極限をアルゴリズム的に計算できるか？
• RQ5 提案されたアルゴリズムは、繰り返しゲームにおける長期的学習結果をどのように予測するか？

主な発見

• 提案されたアルゴリズムは、マコフ連鎖における確率的安定分布の初の正確な計算を実現する。
• この手法は、囚人のジレンマや協調ゲームを含むサンプルの繰り返しゲームにおいて、唯一の確率的安定均衡を的確に同定できた。
• 摂動率がゼロに近づくにつれて、アルゴリズムは正しい極限分布に収束し、理論的期待と一致した。
• 計算された確率的安定分布は、シミュレートされたマルチエージェントシステムにおける長期的学習行動を正確に予測できた。
• 複数のナッシュ均衡が存在するゲームにおいて、正確な均衡選択が可能になった。
• アルゴリズムは計算的に実行可能であり、現実のマルチエージェント学習のシナリオへの応用が可能である。