[논문 리뷰] Outlearning Extortioners by Fair-minded Unbending Strategies

Xingru Chen, Feng Fu|arXiv (Cornell University)|2022. 01. 11.

Evolutionary Game Theory and Cooperation인용 수 7

한 줄 요약

이 논문은 정의로운 마음가짐을 가진 끈덕지게 일관된 전략—예를 들어 유리한 ZD와 Win-Stay, Lose-Shift—이 응징적인 제로-결정력(Zero-Determinant, ZD) 플레이어가 응징을 시도할 경우 이를 무너뜨리는 방식을 규명한다. 이러한 전략을 만날 경우 ZD 플레이어는 정의로운 분할을 제공함으로써 자신의 보상을 극대화하며, 일부 경우에서는 보상 구조가 단독 협력보다 상호 협력에 유리할 경우 더 단순한 전략인 WSLS보다도 지게 된다.

ABSTRACT

Recent theory shows that extortioners taking advantage of the zero-determinant (ZD) strategy can unilaterally claim an unfair share of the payoffs in the Iterated Prisoner's Dilemma. It is thus suggested that against a fixed extortioner, any adapting co-player should be subdued with full cooperation as their best response. In contrast, recent experiments demonstrate that human players often choose not to accede to extortion out of concern for fairness, actually causing extortioners to suffer more loss than themselves. In light of this, here we reveal fair-minded strategies that are unbending to extortion such that any payoff-maximizing extortioner ultimately will concede in their own interest by offering a fair split in head-to-head matches. We find and characterize multiple general classes of such unbending strategies, including generous zero-determinant strategies and Win-Stay, Lose-Shift as particular examples. When against fixed unbending players, extortioners are forced with consequentially increasing losses whenever intending to demand more unfair share. Our analysis also pivots to the importance of payoff structure in determining the superiority of zero-determinant strategies and in particular their extortion ability. We show that an extortionate ZD player can be even outperformed by, for example, Win-Stay Lose-Shift, if the total payoff of unilateral cooperation is smaller than that of mutual defection. Unbending strategies can be used to outlearn evolutionary extortioners and catalyze the evolution of Tit-for-Tat-like strategies out of ZD players. Our work has implications for promoting fairness and resisting extortion so as to uphold a just and cooperative society.

연구 동기 및 목표

• 정의로운 마음가짐을 가진 끈덕지게 일관된 전략이 반복된 죄수의 딜레마에서 응징적인 제로-결정력(ZD) 플레이어를 저지하고 승리할 수 있는지 조사한다.
• 불공정한 요구가 반대로 작용하도록 하여 응징자들의 보상 극대화 전략을 무력화시키는 전략의 일반적 유형을 규명한다.
• 보상 구조가 ZD 전략의 지배력과 응징 능력에 어떻게 영향을 미치는지 분석한다.
• 끈덕지게 일관된 전략이 적응 가능한 동반자들의 학습 동역학을 정의와 협력으로 이끌 수 있는지 탐색한다.
• 특정 보상 조건 하에서 ZD 플레이어가 더 단순한 전략인 Win-Stay, Lose-Shift에 밀릴 수 있음을 입증한다.

제안 방법

• 헤드-투-헤드 ZD 대 고정된 끈덕지게 일관된 전략 대결에서의 기대 보상을 계산하기 위해 Press와 Dyson의 분석 프레임워크를 사용한다.
• 세 가지 매개변수—응징 계수 χ, 정규화 계수 φ, 기준 보상 O ∈ [P, R]—를 통해 ZD 전략을 특성화하여 유리함을 제어한다.
• 응징자가 φ에 의존하지 않고 χ에 대해 단조 감소하는 보상을 얻도록 하여 응징이 실패하도록 하는 끈덕지게 일관된 전략을 규명한다.
• 닫힌 형태의 해를 활용하여, 끈덕지게 일관된 전략이 ZD 플레이어가 응징을 尝시도할 경우 손해를 입히는 조건을 유도한다.
• 보상 매트릭스의 구조(예: T + S < 2P)가 ZD 대 끈덕지게 일관된 전략의 상대적 성과에 미치는 영향을 분석한다.
• 시뮬레이션과 분석 모델링을 통해 끈덕지게 일관된 전략이 ZD 플레이어의 Tit-for-Tat 유사 협력의 진화를 촉진할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 고정된 끈덕지게 일관된 전략이 응징적인 ZD 플레이어가 응징을 尝시도할 경우 이를 비효율적으로 만들 수 있는가?
• RQ2 어떤 조건에서 끈덕지게 일관된 전략이 ZD 플레이어가 Win-Stay, Lose-Shift와 같은 공정한 대안보다 열등한 성과를 내게 하는가?
• RQ3 보상 매트릭스의 구조(예: T + S < 2P)가 ZD 전략의 지배력과 응징 능력에 어떻게 영향을 미치는가?
• RQ4 끈덕지게 일관된 전략이 적응 가능한 동반자들의 학습 동역학을 정의와 협력으로 이끌 수 있는가?
• RQ5 어떤 일반적인 전략 유형이 응징에 강건하며, ZD 매개변수(예: φ)에 대한 보상 독립성을 보장하는가?

주요 결과

• 응징적인 ZD 플레이어는 끈덕지게 일관된 동반자에게 정의로운 분할을 제공할 때만 최대 보상을 얻으며, 이는 응징이 자기 파멸로 이어짐을 의미한다.
• 보상 매트릭스가 T + S < 2P 를 만족할 경우, ZD 플레이어는 Win-Stay, Lose-Shift보다 열등한 성과를 보이며, WSLS는 ZD 전략이 아니지만 이를 초월한다.
• 유리한 ZD 전략과 Win-Stay, Lose-Shift는 끈덕지게 일관된 전략의 구체적 예로, 응징을 무력화시킨다.
• 끈덕지게 일관된 전략이 ZD 정규화 매개변수 φ에 대해 보상 독립성을 유지함으로써 응징 시도가 더 높은 수익을 올리지 못하게 한다.
• 끈덕지게 일관된 전략은 불공정한 요구가 유리하지 않게 하여 ZD 플레이어의 Tit-for-Tat 유사 협력의 진화를 촉진할 수 있다.
• 헤드-투-헤드 대결에서 응징자는 끈덕지게 일관된 플레이어에게 불공정한 점수를 요구할수록 점점 더 큰 손해를 입는다.