[논문 리뷰] On the Emergence of Cooperation in the Repeated Prisoner's Dilemma

Maximilian Schaefer|arXiv (Cornell University)|2022. 11. 24.

Evolutionary Game Theory and Cooperation인용 수 5

한 줄 요약

이 논문은 한 주기 메모리가 있는 $ε$-greedy Q-learner의 시뮬레이션을 통해, 잔인한 트리거 전략 하에서의 확률적 복제 역동성의 잠재함수는 반복된 국경의 딜레마에서 협력의 발생을 예측할 수 있음을 보여준다. 핵심 결과는 협력적이고 비협력적인 매개변수 영역을 분리하는 임계 운동에너지 비율 $\mathcal{C} = \frac{\delta}{1-\delta}\mathcal{K}(\alpha)\epsilon$이며, 이 경계선은 인간의 협력 비율을 매우 잘 예측하며 피어슨 상관계수 >0.8의 값을 보인다.

ABSTRACT

Using simulations between pairs of $ε$-greedy q-learners with one-period memory, this article demonstrates that the potential function of the stochastic replicator dynamics (Foster and Young, 1990) allows it to predict the emergence of error-proof cooperative strategies from the underlying parameters of the repeated prisoner's dilemma. The observed cooperation rates between q-learners are related to the ratio between the kinetic energy exerted by the polar attractors of the replicator dynamics under the grim trigger strategy. The frontier separating the parameter space conducive to cooperation from the parameter space dominated by defection can be found by setting the kinetic energy ratio equal to a critical value, which is a function of the discount factor, $f(δ) = δ/(1-δ)$, multiplied by a correction term to account for the effect of the algorithms' exploration probability. The gradient at the frontier increases with the distance between the game parameters and the hyperplane that characterizes the incentive compatibility constraint for cooperation under grim trigger. Building on literature from the neurosciences, which suggests that reinforcement learning is useful to understanding human behavior in risky environments, the article further explores the extent to which the frontier derived for q-learners also explains the emergence of cooperation between humans. Using metadata from laboratory experiments that analyze human choices in the infinitely repeated prisoner's dilemma, the cooperation rates between humans are compared to those observed between q-learners under similar conditions. The correlation coefficients between the cooperation rates observed for humans and those observed for q-learners are consistently above $0.8$. The frontier derived from the simulations between q-learners is also found to predict the emergence of cooperation between humans.

연구 동기 및 목표

• 한 주기 메모리가 있는 Q-learner가 반복된 국경의 딜레마에서 협력하게 되는 매개변수 조건을 규명하는 것.
• 특히, 잔인한 트리거 전략 하에서의 확률적 복제 역동성의 잠재함수 개념을 활용하여 협력 발생을 예측하는 것.
• Q-learner 시뮬레이션으로 유도된 협력 경계선이 실습 실험에서의 인간 협력률을 예측할 수 있는지 테스트하는 것.
• 게임 매개변수, 학습 알고리즘 하이퍼파라미터와 관측된 협력 비율 간의 관계를 정량화하는 것.
• 다양한 Q-learner 초기화 방법과 매개변수 범위에 걸쳐 협력 경계선의 탄력성 평가하기.

제안 방법

• 반복된 국경의 딜레마에서 일정한 학습률 ($\alpha \in [0.01, 0.1]$)과 탐색 확률 ($\epsilon \in [0.01, 0.1]$)을 가진 $ε$-greedy Q-learner 쌍을 시뮬레이션한다.
• Foster와 Young(1990)의 확률적 복제 역동성의 잠재함수를 사용하여 상호 협력과 상호 배신으로 향하는 운동에너지 계산한다.
• 할인 요소 $\delta$와 탐색 효과를 보정하는 보정 인자 $\mathcal{K}(\alpha)$를 포함한 임계 운동에너지 비율 $\mathcal{C} = \frac{\delta}{1-\delta}\mathcal{K}(\alpha)\epsilon$을 정의한다.
• 운동에너지 비율이 $\mathcal{C}$와 같을 때의 매개변수 조합으로 이루어진 협력 경계선을 정의하며, 이는 협력적 영역과 비협력적 영역을 분리한다.
• 유럽 거리 기반 $(d^{ic}, \mathcal{KLR} - \log(\mathcal{K}(\alpha)\epsilon))$ 공간에서 Q-learner 협력 비율과 실험실 실험에서의 인간 협력 비율을 비교한다.
• 게임 경험 증가에 따라 처리 간 인간과 Q-learner 협력 비율 간 피어슨 상관계수를 계산하고 추적한다.

실험 결과

연구 질문

• RQ1 반복된 국경의 딜레마에서 한 주기 메모리가 있는 Q-learner 간에 안정된 협력이 이루어지는 매개변수 조합은 무엇인가?
• RQ2 잔인한 트리거 전략 하에서의 확률적 복제 역동성의 잠재함수가 Q-learner 상호작용에서 협력적 결과와 비협력적 결과의 경계를 예측할 수 있는가?
• RQ3 Q-learner 시뮬레이션으로 도출된 협력 경계선이 실험실 실험에서 실제 인간 협력 비율을 얼마나 잘 예측하는가?
• RQ4 게임 매개변수와 인centive compatibility 제약 초평면 사이의 거리에 따라 경계선 근처 협력 비율의 기울기는 어떻게 변화하는가?
• RQ5 플레이어들이 반복 게임에서 경험을 쌓을수록 인간과 Q-learner 협력 비율 간 상관계수는 어떻게 변화하는가?

주요 결과

• Q-learner 간 협력 경계선은 운동에너지 비율 $\mathcal{C} = \frac{\delta}{1-\delta}\mathcal{K}(\alpha)\epsilon$에 의해 정확하게 예측되며, 이때 $\mathcal{K}(\alpha)$는 탐색 효과를 보정한다.
• 경계선에서 협력 전략 비율의 기울기는 게임 매개변수와 인centive compatibility 초평면 사이의 거리가 증가함에 따라 증가하며, 이 거리가 최대값의 50%를 초과하면 안정화된다.
• 시험된 매개변수 범위 내에서 낙관적 및 비관적인 Q-값 초기화 방식에 대해 경계선은 탄력성이 있다.
• 실험실 실험에서의 인간 협력 비율은 Q-learner 협력 비율과 피어슨 상관계수 >0.8로 높은 상관관계를 보이며, 이는 Q-learner 경계선의 강력한 예측 능력을 시사한다.
• 일곱 번째 게임 이후에도 상관계수는 항상 0.8 이상 유지되며, 초기에 정점에 도달하고 안정화되며, 인간과 Q-learner 간 학습 동역학의 일치를 시사한다.
• 유일하게 $\mathcal{KLR}$와 $sizeGOOD$ 측정치 간 예측이 상충된 처리 사례는 $\mathcal{KLR}$ 경계선을 지지하며, 이는 그 유효성을 뒷받침한다.