[論文レビュー] Limiting dynamics for Q-learning with memory one in symmetric two-player, two-action games

Janusz M Meylahn, Janssen, Lars|arXiv (Cornell University)|Jul 29, 2021

Receptor Mechanisms and Signaling被引用数 7

ひとこと要約

本稿では、1期分の記憶を持つQ学習を用いて、2人2行動の繰り返しゲームにおける吸収状態および相互最良応答ダイナミクスを特定する計算的手法を開発する。反復的相互最良応答ネットワーク（IBRN）を構築することで、サンプルバッチQ学習が無限大のバッチサイズ極限においてこれらのダイナミクスに収束することを示し、反復囚人のジレンマ、ハト・ハヤブレ、ハト・デュエルといったゲームにおける吸収状態および極限サイクルを明らかにする。

ABSTRACT

We develop a method based on computer algebra systems to represent the mutual pure strategy best-response dynamics of symmetric two-player, two-action repeated games played by players with a one-period memory. We apply this method to the iterated prisoner's dilemma, stag hunt and hawk-dove games and identify all possible equilibrium strategy pairs and the conditions for their existence. The only equilibrium strategy pair that is possible in all three games is the win-stay, lose-shift strategy. Lastly, we show that the mutual best-response dynamics are realized by a sample batch Q-learning algorithm in the infinite batch size limit.

研究の動機と目的

• 1期分の記憶を持つQ学習者を用いた2人2行動の繰り返しゲームにおける、すべての純粋戦略均衡点を特定する計算フレームワークを確立すること。
• サンプルバッチQ学習の無限バッチサイズ極限における限界的ダイナミクスをモデル化・分析すること。
• 反復囚人のジレンマ、ハト・ハヤブレ、ハト・デュエルといった重要なゲーム理論的モデルにおける吸収状態および極限サイクルの存在と構造を特徴づけること。
• 同時最良応答更新における決定的戦略ダイナミクスを捉える、反復的相互最良応答ネットワーク（IBRN）という図的表現を提供すること。
• Q学習の理論的収束を相互最良応答ダイナミクスと結びつけ、パrameter空間における協力の可能性を分析可能にする。

提案手法

• 1期分の記憶に基づき、どの戦略対が互いに最良応答であるかを評価することで、純粋戦略の相互最良応答のグラフを構築する。
• サンプルバッチQ学習の無限バッチサイズ極限を、Q値がベルマン方程式の解に収束する決定的力学系として定義する。
• ベルマン方程式を用いて、相手の戦略に基づく各プレイヤーの期待Q値を計算し、相互最良応答の特定を可能にする。
• 同時に最良応答更新が行われる戦略遷移を表す反復的相互最良応答ネットワーク（IBRN）を生成する。
• 反復囚人のジレンマ（PD）、ハト・ハヤブレ（SH）、ハト・デュエル（HD）という3つの代表的ゲームにこの手法を適用し、割引率の変化に伴う位相図を分析する。
• 数値的および理論的分析を用いて、吸収状態および極限サイクルの存在に応じたパrameter空間の領域を分類する。

実験結果

リサーチクエスチョン

• RQ1 1期分の記憶を持つQ学習者を用いた2人2行動の繰り返しゲームにおける、すべての可能な純粋戦略均衡対は何か？
• RQ2 無限バッチサイズにおけるサンプルバッチQ学習の限界的ダイナミクスは、どのように相互最良応答ダイナミクスに対応するか？
• RQ3 ゲームパラメータ（特に割引率）にどのような条件が成立すると、PD、SH、HDゲームにおける特定の吸収状態が存在するか？
• RQ4 極限サイクルは相互最良応答ダイナミクスに出現しうるか？ また、それらはQ学習の収束にどのような含意を持つか？
• RQ5 異なるゲームおよびパラメータ領域において、吸収状態の吸引域はどのように変化するか？

主な発見

• 反復囚人のジレンマにおいて、All-D、GT（グリム・トリガー）、WSLS（Win-Stay, Lose-Shift）という3つの対称的解が、唯一可能な純粋戦略均衡対である。
• 本手法は、ハト・ハヤブレおよびハト・デュエルゲームにおけるすべての吸収状態とその存在条件を的確に特定できた。
• 同時に最良応答更新が行われるため、IBRNグラフ内に極限サイクルが出現しうるが、これらは決定的バッチ更新メカニズムに起因する人工的要因であり、学習率を減少させると消失する。
• IBRN表現は、サンプルバッチQ学習の限界的ダイナミクスを正確に捉えており、IBRN内での吸収状態が、純粋戦略に収束するいかなるQ学習アルゴリズムの吸収状態に対応していることを確認した。
• 割引率δが増加するにつれ、PDにおける3つの均衡が同時に存在するパラメータ空間の領域が拡大する一方、SHおよびHDでは特定の均衡の組み合わせを有する領域が縮小する。
• IBRNの可視化により、ハト・ハヤブレおよびハト・デュエルゲームでは、反復囚人のジレンマと比較して、吸収状態の吸引域がより均等に分布していることが示された。