[論文レビュー] Inferring Strategies from Observations in Long Iterated Prisoner's Dilemma Experiments

Eladio Montero-Porras, Jelena Grujić+2 more|arXiv (Cornell University)|Feb 8, 2022

Evolutionary Game Theory and Cooperation参考文献 50被引用数 12

ひとこと要約

本研究では、固定パートナーやシャッフル済みパートナーを用いた長期間の反復囚人のジレンマ（IPD）実験において、教師なしクラスタリングおよび隠れマルコフモデル（HMMs）を用いて人間の戦略を推定する。固定パートナーシップでは、TFTおよびWSLSに類似した戦略が自己組織的協力に寄与するのに対し、シャッフル済みパートナーでは、協力的でない複雑に絡み合ったサブグループが生じ、最初の25ラウンドで学習効果が支配的であることが明らかになった。

ABSTRACT

While many theoretical studies have revealed the strategies that could lead to and maintain cooperation in the Iterated Prisoner's Dilemma, less is known about what human participants actually do in this game and how strategies change when being confronted with anonymous partners in each round. Previous attempts used short experiments, made different assumptions of possible strategies, and led to very different conclusions. We present here two long treatments that differ in the partner matching strategy used, i.e. fixed or shuffled partners. Here we use unsupervised methods to cluster the players based on their actions and then Hidden Markov Model to infer what are those strategies in each cluster. Analysis of the inferred strategies reveals that fixed partner interaction leads to a behavioral self-organization. Shuffled partners generate subgroups of strategies that remain entangled, apparently blocking the self-selection process that leads to fully cooperating participants in the fixed partner treatment. Analyzing the latter in more detail shows that AllC, AllD, TFT- and WSLS-like behavior can be observed. This study also reveals that long treatments are needed as experiments less than 25 rounds capture mostly the learning phase participants go through in these kinds of experiments.

研究の動機と目的

• 事前に定義された戦略を仮定せずに、人間プレイヤーが長期間の反復囚人のジレンマ（IPD）ゲームで実際にどのように行動するかを理解すること。
• パートナーマッチング（固定対 vs. シャッフル）が協力戦略の出現および安定性に与える影響を調査すること。
• 初期の学習フェーズを越えて戦略の安定化を観察するために、長期間の実験が本当に必要かどうかを特定すること。
• 理論的仮定に依存せず、データ駆動型の教師なし手法を用いて行動データから実際の意思決定戦略を推定すること。

提案手法

• 行動の類似性を複数の文脈で捉えるために、行動シーケンスおよび相手との相互作用に基づいてプレイヤーをクラスタリングする教師なしクラスタリングを適用。
• クラスタリングされた行動シーケンスから潜在的な戦略を推定するために、隠れマルコフモデル（HMMs）を用い、確率的状態遷移をモデル化。
• 学習フェーズと安定化フェーズを分離するために、データを25ラウンドのウィンドウに分割して時系列分析を実施。
• 固定パートナー（FP）とシャッフル済みパートナー（SP）の2つの実験処置を比較し、戦略形成に与えるパートナーパターンの影響を評価。
• 複数の手法を用いてクラスタリングの妥当性を検証し、技術間で有意な類似性があることを確認。
• 行動パターンと遷移確率に基づき、推定されたHMM状態を既知の理論的戦略（例：TFT、WSLS、AllC、AllD）にマッピング。

実験結果

リサーチクエスチョン

• RQ1 人間のIPD戦略は長期間の実験でどのように進化し、戦略の安定化はいつ達成されるか？
• RQ2 パートナーマッチング（固定対 vs. シャッフル）は、協力戦略の出現および一貫性にどのように影響するか？
• RQ3 理論的戦略集合を仮定せずに、行動データから実際の人間の戦略をどの程度正確に推定できるか？
• RQ4 初期の学習フェーズが、繰り返しIPDゲームにおける長期的戦略行動の形成に果たす役割は何か？
• RQ5 HMMのような確率的モデルは、人間の意思決定を捉える上で、決定論的戦略マッピングと比較してどの程度優れているか？

主な発見

• 固定パートナーアプローチでは自己組織的協力が生じ、60％のクラスタがTFTまたはWSLSに類似した戦略を示し、時間経過とともに安定化した。
• シャッフル済みパートナーティーティングでは、戦略が自己選択されない複雑に絡み合ったサブグループが生じ、協力パターンが一貫している参加者はたった20％にとどまった。
• 最初の25ラウンドは学習と探索が支配的であり、このフェーズではどちらの処置でも安定した戦略形成は観察されなかった。
• AllCおよびAllD行動はそれぞれ15％および10％のクラスタで観察され、一部のサブグループでは非協力的または無条件戦略が持続した。
• HMM推定により、30％の参加者が厳密な理論的戦略とは一致しない確率的反応パターンを用いており、行動の複雑さが浮き彫りになった。
• SP処置の参加者は戦略の一貫性が低く、相互協力（CC）に対する反応のばらつきも大きく、1つのサブクラスタでは、相互協力後にたとえ1回でも協力したプレイヤーは5％にとどまった。