[論文レビュー] Learning in concave games with imperfect information.

Panayotis Mertikopoulos|arXiv (Cornell University)|Aug 25, 2016

Experimental Behavioral Economics Studies被引用数 6

ひとこと要約

本稿は、不完全情報下における凹型N人ゲームにおける学習ダイナミクスを研究しており、プレイヤーはノイズのある報酬推定値に沿った勾配上昇法により行動を更新し、その後実行可能集合に戻す投影を施す。ノイズが有界である場合にナッシュ均衡への収束を証明し、変動的安定性（variational stability）が局所収束の十分条件であることを示し、射影的ミラー写像のもとでは不確実性が存在しても有限時間収束が成り立つことを示している。

ABSTRACT

This paper examines the convergence properties of a class of learning schemes for concave N-person games - that is, games with convex action spaces and individually concave payoff functions. Specifically, we focus on a family of learning methods where players adjust their actions by taking small steps along their individual payoff gradients and then the output back to their feasible action spaces. Assuming players only have access to gradient information that is accurate up to a zero-mean error with bounded variance, we show that when the process converges, its limit is a Nash equilibrium. We also introduce an equilibrium stability notion which we call variational stability (VS), and we show that stable equilibria are locally attracting with high probability whereas globally stable states are globally attracting with probability 1. Additionally, in finite games, we find that dominated strategies become extinct, strict equilibria are locally attracting with high probability, and the long-term average of the process converges to equilibrium in 2-player zero-sum games. Finally, we examine the scheme's convergence speed and we show that if the game admits a strict equilibrium and the players' mirror maps are surjective, then, with high probability, the process converges to equilibrium in a finite number of steps, no matter the level of uncertainty.

研究の動機と目的

• 不完全情報下における勾配ベース学習の収束特性を、凹型N人ゲームにおいて分析すること。
• 報酬勾配にノイズが加わる状況下でも、学習ダイナミクスがナッシュ均衡に収束する条件を確立すること。
• 新たに導入・分析された安定性概念「変動的安定性（VS）」とその収束への影響を提示すること。
• 有限ゲームにおける長期的挙動を調査し、劣っている戦略の消滅と2人ゼロ和ゲームにおける均衡への収束を明らかにすること。
• 収束速度を特定し、特に厳密均衡および射影的ミラー写像の条件下での特性を明らかにすること。

提案手法

• プレイヤーは、分散が有界で平均がゼロのノイズを伴う報酬勾配に沿って小さなステップで行動を更新する。
• 各更新後、ミラー写像を用いて行動を実行可能集合に戻す投影を施す。
• 学習ダイナミクスの不確実性下でのモデル化には、確率的近似理論を用いる。
• 局所的に吸引的な均衡を特徴付けるために、新たな安定性概念「変動的安定性（VS）」を導入する。
• 収束は、リャプノフ型の議論と学習軌道における確率的バインディングを用いて分析する。
• 有限ゲームおよび2人ゼロ和ゲームにこのフレームワークを適用し、長期的収束結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 報酬勾配に平均ゼロで分散が有界なノイズが加わる凹型ゲームにおいて、勾配ベース学習がナッシュ均衡に収束する条件は何か？
• RQ2 導入された変動的安定性（VS）という概念は、学習ダイナミクスにおける均衡の局所的吸引性とどのように関係するか？
• RQ3 この学習スキームのもとで、有限ゲームにおける劣っている戦略や厳密均衡にはどのような影響が及ぶか？
• RQ4 2人ゼロ和ゲームにおいて、学習プロセスは均衡に収束するのか？ また、平均行動経路の長期的挙動はいかなるものか？
• RQ5 射影的ミラー写像とノイズのある勾配のもとで、厳密均衡への有限時間収束を保証できるか？

主な発見

• 学習プロセスが収束する場合、報酬勾配推定値のノイズが有界であれば、極限はナッシュ均衡である。
• 変動的安定な均衡は、高い確率で局所的に吸引的であり、グローバルに安定な均衡は確率1でグローバルに吸引的である。
• 有限ゲームでは、劣っている戦略が学習ダイナミクスのもとで消滅する。
• 厳密均衡は高い確率で局所的に吸引的であり、2人ゼロ和ゲームでは長期平均が均衡に収束する。
• 厳密均衡が存在し、プレイヤーのミラー写像が全射である場合、ノイズレベルにかかわらず、高い確率で有限ステップ内で均衡に収束する。
• 収束速度は、特定の構造的条件下では有限時間収束が可能であると特定され、大きな不確実性が存在しても成り立つ。