[논문 리뷰] Inferring Strategies from Observations in Long Iterated Prisoner's Dilemma Experiments

Eladio Montero-Porras, Jelena Grujić외 2명|arXiv (Cornell University)|2022. 02. 08.

Evolutionary Game Theory and Cooperation참고 문헌 50인용 수 12

한 줄 요약

이 연구는 고정된 파트너와 뒤섞인 파트너를 대비하여 장기적인 반복적 비호의 다이레마(IPD) 실험에서 인간의 전략을 추론하기 위해 비지도 군집화와 숨은 마르코프 모델(HMM)을 사용한다. 고정된 파트너는 TFT 및 WSLS 유사 전략을 통해 자율적인 협력이 가능하게 하며, 뒤섞인 파트너는 협력하지 않는 복잡한 하위군집을 초래한다. 학습 효과는 첫 25라운드 동안 지배적이다.

ABSTRACT

While many theoretical studies have revealed the strategies that could lead to and maintain cooperation in the Iterated Prisoner's Dilemma, less is known about what human participants actually do in this game and how strategies change when being confronted with anonymous partners in each round. Previous attempts used short experiments, made different assumptions of possible strategies, and led to very different conclusions. We present here two long treatments that differ in the partner matching strategy used, i.e. fixed or shuffled partners. Here we use unsupervised methods to cluster the players based on their actions and then Hidden Markov Model to infer what are those strategies in each cluster. Analysis of the inferred strategies reveals that fixed partner interaction leads to a behavioral self-organization. Shuffled partners generate subgroups of strategies that remain entangled, apparently blocking the self-selection process that leads to fully cooperating participants in the fixed partner treatment. Analyzing the latter in more detail shows that AllC, AllD, TFT- and WSLS-like behavior can be observed. This study also reveals that long treatments are needed as experiments less than 25 rounds capture mostly the learning phase participants go through in these kinds of experiments.

연구 동기 및 목표

• 사전에 정의된 전략을 가정하지 않고 인간 플레이어가 장기적인 반복적 비호의 다이레마(IPD) 게임에서 실제로 어떻게 행동하는지 이해하는 것.
• 파트너 매칭 방식(고정 대 뒤섞임)이 협력 전략의 부상과 안정성에 미치는 영향을 조사하는 것.
• 초기 학습 단계 이후 전략의 안정화를 관찰하기 위해 장기적인 실험 기간이 반드시 필요한지 확인하는 것.
• 이론적 가정이 아닌 데이터 기반 비지도 방법을 사용하여 행동 데이터에서 실제 의사결정 전략을 추론하는 것.

제안 방법

• 플레이어의 행동 시퀀스와 상대방과의 상호작용을 기반으로 행동 유사성을 캡처하는 방식으로, 행동 패턴을 기반으로 플레이어를 군집화함.
• 군집화된 행동 시퀀스에서 잠재 전략을 추론하기 위해 숨은 마르코프 모델(HMM)을 사용하여 확률적 상태 전이를 모델링함.
• 시간적 분석을 위해 데이터를 25라운드 창으로 나누어 학습 단계와 안정화 단계를 분리함.
• 고정된 파트너(FP)와 뒤섞인 파트너(SP)의 두 실험 처리를 비교하여 파트너 구조가 전략 형성에 미치는 영향을 평가함.
• 다양한 방법을 사용하여 군집의 안정성을 검증하고, 기술 간에 유의미한 일치를 확인함.
• 행동 패tern과 전이 확률을 기반으로 추론된 HMM 상태를 기존 이론적 전략(예: TFT, WSLS, AllC, AllD)에 매핑함.

실험 결과

연구 질문

• RQ1 장기적인 실험 기간 동안 인간의 전략은 어떻게 변화하며, 전략의 안정화가 언제 이루어지는가?
• RQ2 파트너 매칭 방식(고정 대 뒤섞임)이 협력 전략의 부상과 통합성에 어떤 영향을 미치는가?
• RQ3 이론적 전략 집합을 가정하지 않고 행동 데이터에서 실제 인간 전략을 어느 정도 추론할 수 있는가?
• RQ4 초기 학습 단계가 반복적인 IPD 게임에서 장기적인 전략적 행동을 어떻게 형성하는가?
• RQ5 HMM과 같은 확률 모델은 인간의 의사결정을 기록하는 데 있어 결정론적 전략 매핑에 비해 어떤가?

주요 결과

• 고정된 파트너 상호작용은 자율적인 협력을 이끌었으며, 60%의 군집이 TFT 또는 WSLS 유사 전략을 보였고, 시간이 지남에 따라 안정화됨.
• 뒤섞인 파트너 처리에서는 전략이 자율적으로 선택되지 못하는 복잡한 하위군집이 발생했으며, 협력 패턴이 일관된 경우는 20%에 불과함.
• 첫 25라운드는 학습과 탐색이 지배적이었으며, 이 단계에서는 어느 처리에서도 안정된 전략 형성이 관찰되지 않음.
• AllC와 AllD 행동은 각각 15%와 10%의 군집에서 관찰되어 일부 하위군집에서 비협력적 또는 무조건적 전략이 지속됨.
• HMM 추론 결과, 30%의 참가자가 엄격한 이론적 전략과 일치하지 않는 확률적 반응 패턴을 사용함으로써 행동의 복잡성을 드러냄.
• SP 처리의 참가자들은 전략의 통합성이 낮고 상호 협력(CC)에 대한 반응의 변동성이 높았으며, 한 하위군집에서 5%의 플레이어만 상호 협력 후 한 번도 협력하지 않음.