[論文レビュー] Outlearning Extortioners by Fair-minded Unbending Strategies

Xingru Chen, Feng Fu|arXiv (Cornell University)|Jan 11, 2022

Evolutionary Game Theory and Cooperation被引用数 7

ひとこと要約

本稿は、思いやりのある、揺るぎのない戦略——例えば、思いやりのあるZD戦略やWin-Stay, Lose-Shift——が、抑圧的ゼロ・デターミナント（ZD）プレイヤーを、抑圧が非効率になるように仕向け、結果として譲歩を迫ることで、抑圧的ZDプレイヤーを無力化することを特定している。このような戦略に直面した場合、ZDプレイヤーは公平な配分を提示することで報酬を最大化するが、報酬構造が単独での協力よりも相互の裏切りを好む場合、単純な戦略（例：WSLS）にすら負けることがある。

ABSTRACT

Recent theory shows that extortioners taking advantage of the zero-determinant (ZD) strategy can unilaterally claim an unfair share of the payoffs in the Iterated Prisoner's Dilemma. It is thus suggested that against a fixed extortioner, any adapting co-player should be subdued with full cooperation as their best response. In contrast, recent experiments demonstrate that human players often choose not to accede to extortion out of concern for fairness, actually causing extortioners to suffer more loss than themselves. In light of this, here we reveal fair-minded strategies that are unbending to extortion such that any payoff-maximizing extortioner ultimately will concede in their own interest by offering a fair split in head-to-head matches. We find and characterize multiple general classes of such unbending strategies, including generous zero-determinant strategies and Win-Stay, Lose-Shift as particular examples. When against fixed unbending players, extortioners are forced with consequentially increasing losses whenever intending to demand more unfair share. Our analysis also pivots to the importance of payoff structure in determining the superiority of zero-determinant strategies and in particular their extortion ability. We show that an extortionate ZD player can be even outperformed by, for example, Win-Stay Lose-Shift, if the total payoff of unilateral cooperation is smaller than that of mutual defection. Unbending strategies can be used to outlearn evolutionary extortioners and catalyze the evolution of Tit-for-Tat-like strategies out of ZD players. Our work has implications for promoting fairness and resisting extortion so as to uphold a just and cooperative society.

研究の動機と目的

• 思いやりのある、揺るぎのない戦略が反復囚人のジレンマにおいて抑圧的ゼロ・デターミナント（ZD）プレイヤーに抵抗し、それらを上回る可能性があるかどうかを調査すること。
• 不公正な要求が逆効果となるように、抑圧者による報酬最大化を無効にする戦略の一般的なクラスを同定すること。
• 報酬行列の構造がZD戦略の優位性およびその抑圧能力に与える影響を分析すること。
• 揺るぎのない戦略が適応的相手の学習ダイナミクスを公平性と協力へと導く仕組みを探索すること。
• 特定の報酬条件のもとで、ZDプレイヤーが単純な戦略（例：Win-Stay, Lose-Shift）に劣ることを実証すること。

提案手法

• プレスとダイソンの解析的枠組みを用い、ZD戦略と固定された揺るぎのない戦略との一対一対戦における期待報酬を計算する。
• ZD戦略を3つのパラメータ（抑圧要因χ、正規化要因φ、およびベースライン報酬O ∈ [P, R]）で特徴づけ、思いやりの度合いを制御する。
• 抑圧者による報酬がφに依存せず、χに対して単調に減少するように、揺るぎのない戦略を同定する。これにより、抑圧が失敗することが保証される。
• 閉形式解を用いて、揺るぎのない戦略がZDプレイヤーが抑圧を試みる際に損失を被らせる条件を導出する。
• 報酬行列の構造（例：T + S < 2P）がZD戦略と揺るぎのない戦略の相対的パフォーマンスに与える影響を分析する。
• シミュレーションと解析的モデリングを用いて、揺るぎのない戦略がZDプレイヤーからTit-for-Tatに類似した協力の進化を促進できることを示す。

実験結果

リサーチクエスチョン

• RQ1 固定された、揺るぎのない戦略は、抑圧が非利益的になるようにすることで、抑圧的ZDプレイヤーを譲歩させることができるか？
• RQ2 どのような条件下で、揺るぎのない戦略がZDプレイヤーを公平な代替戦略（例：Win-Stay, Lose-Shift）よりも劣らせることになるか？
• RQ3 報酬行列の構造（例：T + S < 2P）がZD戦略の優位性およびその抑圧能力に与える影響は何か？
• RQ4 揺るぎのない戦略は、適応的相手の学習ダイナミクスを公平性と協力へと導くことができるか？
• RQ5 どのような一般的な戦略クラスが抑圧に対して頑健であり、ZDのパラメータ（例：φ）に依存しない報酬を保証するか？

主な発見

• 抑圧的ZDプレイヤーは、揺るぎのない相手に対して公平な配分を行う場合にのみ最大報酬を得られ、抑圧が自己破壊的になる。
• 報酬行列がT + S < 2Pを満たす場合、ZDプレイヤーはWin-Stay, Lose-Shiftにすら劣るが、WSLSはZD戦略ではない。
• 思いやりのあるZD戦略とWin-Stay, Lose-Shiftは、抑圧を無効化する揺るぎのない戦略の具体的な例として同定された。
• 揺るぎのない戦略がZDの正規化パラメータφに依存しない報酬を持つことで、抑圧の試みがより高い報酬をもたらさないことが保証される。
• 揺るぎのない戦略は、不公正な要求が非効率になるようにすることで、ZDプレイヤーからTit-for-Tatに類似した協力の進化を促進する。
• 一対一の対戦において、抑圧者ほど揺るぎのないプレイヤーに対して不公正な取り分を要求するほど、損失が増大する。