[논문 리뷰] How Evolutionary Dynamics Affects Network Reciprocity in Prisoner's Dilemma

Giulio Cimini, Ángel Sánchez|arXiv (Cornell University)|2015. 01. 01.

Evolutionary Game Theory and Cooperation참고 문헌 53인용 수 16

한 줄 요약

이 논문은 다양한 네트워크 구조와 전략 갱신 규칙에서 에이전트 기반 시뮬레이션을 통해 서로 다른 진화 역학이 협력의 네트워크 상호작용에 어떻게 영향을 미치는지 조사한다. 연구 결과, 공간적 구조가 협력을 유지하는 네트워크 상호작용은 유일하게 수익 비교 기반 전략을 사용할 때만 나타나며, 이웃의 수익을 고려하지 않고 모방 또는 최적 반응 기반으로 전략을 갱신할 경우, 네트워크 유형 간 협력 수준은 변화하지 않아 실험 결과에서 네트워크 구조가 영향을 미치지 않는 현상을 설명한다.

ABSTRACT

Cooperation lies at the foundations of human societies, yet why people cooperate remains a conundrum. The issue, known as network reciprocity, of whether population structure can foster cooperative behavior in social dilemmas has been addressed by many, but theoretical studies have yielded contradictory results so far—as the problem is very sensitive to how players adapt their strategy. However, recent experiments with the prisoner's dilemma game played on different networks and in a specific range of payoffs suggest that humans, at least for those experimental setups, do not consider neighbors' payoffs when making their decisions, and that the network structure does not influence the final outcome. In this work we carry out an extensive analysis of different evolutionary dynamics, taking into account most of the alternatives that have been proposed so far to implement players' strategy updating process. In this manner we show that the absence of network reciprocity is a general feature of the dynamics (among those we consider) that do not take neighbors' payoffs into account. Our results, together with experimental evidence, hint at how to properly model real people's behavior.

연구 동기 및 목표

• 이론적 예측에서의 네트워크 상호작용와 인간 협력에서 네트워크 효과가 없음을 보여주는 실험 결과 사이의 모순을 해결하기 위해.
• 특히 수익 비교에 기반하지 않는 다양한 진화 역학이 구조화된 인구에서 협력의 발생에 어떻게 영향을 미치는지 조사하기 위해.
• 사회적 딜레마 상황에서 인간의 경험적 행동과 일치하는 전략 갱신 메커니즘을 특정하기 위해.
• 인간 실험에서 네트워크 상호작용가 나타나지 않는 것이 수익 비교 기반 전략 갱신이 아닌 일반적인 특성인지 판단하기 위해.

제안 방법

• 에이전트 기반 모델이 복잡한 네트워크 상의 개개인을 시뮬레이션하며, 이웃과 반복 파편의 딜레마를 진행한다.
• 플레이어는 τ 라운드마다 10종의 서로 다른 진화 역학 중 하나를 사용하여 협력 확률 p(t)를 갱신한다. 이는 모방, 페르미 규칙, 사망-생산, 최적 반응, 강화 학습 등 포함된다.
• 네트워크 구조는 균일 혼합, 에르되시-레니 랜덤, 스케일프리, 정규 격자, 그리고 두 개의 실제 네트워크(이메일 및 PGP) 포함된다.
• 수익 매개변수는 R=1, P=0, T∈(1,2), S∈(−1,0]로 설정되어 약한 및 강한 사회적 딜레마를 모두 다룬다.
• 시스템은 10,000라운드 동안 시뮬레이션되며, 통계적 안정성을 확보하기 위해 10개의 독립적 실현 평균을 취한다.
• 주요 관측 변수는 협력자 비율 c(t)와 협력 확률의 정적 분포 P(p)이다.

실험 결과

연구 질문

• RQ1 플레이어가 수익 비교 기반 전략 갱신을 하지 않을 경우, 네트워크 상호작용가 유지되는가?
• RQ2 어느 진화 역학이 네트워크 상호작용가를 유도하고, 어느 것은 그렇지 않은가?
• RQ3 이 모델의 결과는 최근 대규모 네트워크에서의 인간 실험과 어떻게 비교되는가?
• RQ4 인간 실험에서 네트워크 효과가 나타나지 않는 것은 수익 비교 기반 전략 갱신이 아닌 일반적인 결과인가?
• RQ5 강화 학습과 최적 반응 역학은 실험에서 관찰된 네트워크 영향의 부재를 설명할 수 있는가?

주요 결과

• 이웃의 수익을 고려하지 않는 진화 역학, 즉 무조건적 모방, 보어 모델, 최적 반응 규칙에서는 네트워크 상호작용가 존재하지 않는다.
• 모든 수익 비교 기반 전략 갱신이 아닌 경우, 모든 네트워크 유형(균일 혼합 및 구조화된 네트워크 포함)에서 최종 협력 수준 c는 거의 동일하다.
• 유일하게 수익 비교 기반 역학—페르미 규칙과 비례 모방—에서만 뚜렷한 네트워크 상호작용가 나타나며, 정규 격자 및 스케일프리 네트워크에서 협력 수준이 높다.
• 협력 확률의 정적 분포 P(p)는 수익 비교 규칙에서는 이중 피크를 보이며, 안정적인 협력자 및 배신자 집단을 나타내지만, 비비교 규칙에서는 중심이 p=0.5 근처에 있는 단일 피크이고 넓은 분포를 보인다.
• 낮은 학습률 λ=10−2를 가진 강화 학습은 수익 비교 기반 전략 갱신이 아닌 경우와 유사한 결과를 보이며, 네트워크 효과가 나타나지 않는다.
• 실험에서 네트워크 구조가 협력 결과에 영향을 미치지 않는 관찰 결과는 인간 플레이어가 전략 갱신에 수익 비교를 하지 않기 때문에 발생하며, 이는 모델의 비비교 기반 역학과 일치한다.