[論文レビュー] How Evolutionary Dynamics Affects Network Reciprocity in Prisoner's Dilemma

Giulio Cimini, Ángel Sánchez|arXiv (Cornell University)|Jan 1, 2015

Evolutionary Game Theory and Cooperation参考文献 53被引用数 16

ひとこと要約

本稿は、異なる進化的ダイナミクスが、捕鶉のジレンマゲームにおけるネットワーク相互作用に与える影響を、多様なネットワーク構造と戦略更新ルールを用いたエージェントベースシミュレーションを通じて調査する。その結果、空間的構造が協力を維持するネットワーク相互作用—いわゆるネットワーク reciprocity—が発現するのは、プレイヤーが報酬比較に基づく戦略を使用する場合に限ることが判明した。報酬比較を考慮しないイミテーションやベストリスポンスに基づく戦略更新では、協力水準はネットワークタイプに関わらず変化せず、実験的に観察されたネットワーク構造の影響なしという結果を説明できる。

ABSTRACT

Cooperation lies at the foundations of human societies, yet why people cooperate remains a conundrum. The issue, known as network reciprocity, of whether population structure can foster cooperative behavior in social dilemmas has been addressed by many, but theoretical studies have yielded contradictory results so far—as the problem is very sensitive to how players adapt their strategy. However, recent experiments with the prisoner's dilemma game played on different networks and in a specific range of payoffs suggest that humans, at least for those experimental setups, do not consider neighbors' payoffs when making their decisions, and that the network structure does not influence the final outcome. In this work we carry out an extensive analysis of different evolutionary dynamics, taking into account most of the alternatives that have been proposed so far to implement players' strategy updating process. In this manner we show that the absence of network reciprocity is a general feature of the dynamics (among those we consider) that do not take neighbors' payoffs into account. Our results, together with experimental evidence, hint at how to properly model real people's behavior.

研究の動機と目的

• 理論的予測におけるネットワーク相互作用と、人間の協力行動においてネットワーク効果が観察されない実験的結果との矛盾を解消すること。
• 報酬比較に基づかない、特にその他の進化的ダイナミクスが、構造化された集団における協力の出現に与える影響を調査すること。
• 社会的ジレンマにおける人間の実証的行動と整合する戦略更新メカニズムを同定すること。
• 人間の実験で観察されたネットワーク相互作用の欠如が、報酬比較を含まないダイナミクスの一般的特徴であるかどうかを特定すること。

提案手法

• エージェントベースモデルを用いて、複雑なネットワーク上に配置された個々のプレイヤーが、隣接プレイヤーと繰り返し捕鶉のジレンマをプレイするのを模擬する。
• プレイヤーはτラウンドごとに、イミテーション、フェルミ則、死・出生、ベストリスポンス、強化学習を含む10種類の異なる進化的ダイナミクスのうちいずれかを用いて、協力確率p(t)を更新する。
• ネットワーク構造には、均質混合、エローズ＝レニー・ランダム、スケールフリーネットワーク、定期的格子、および2つの実世界ネットワーク（メールとPGP）が含まれる。
• 報酬パラメータはR=1、P=0、T∈(1,2)、S∈(−1,0]に設定され、弱いおよび強い社会的ジレンマをカバーする。
• システムは10,000ラウンドにわたりシミュレートされ、統計的妥当性を確保するため10回の独立した実現の平均値が用いられる。
• 主な観察変数は、協力者の割合c(t)と協力確率の定常分布P(p)である。

実験結果

リサーチクエスチョン

• RQ1 プレイヤーが報酬比較に基づく戦略更新を行わない場合、ネットワーク相互作用は維持されるか？
• RQ2 どの進化的ダイナミクスがネットワーク相互作用を生じさせ、どのものが生じさせないか？
• RQ3 本モデルの結果は、大規模ネットワークにおける最近のヒト実験とどのように比較できるか？
• RQ4 ヒト実験で観察されたネットワーク効果の欠如は、報酬比較を含まない戦略更新の一般的結果であるか？
• RQ5 強化学習とベストリスポンスダイナミクスは、実験で観察されたネットワークの影響なしを説明できるか？

主な発見

• 報酬比較を考慮しない進化的ダイナミクス、例えば無条件のイミテーション、ボルダー・モデル、ベストリスポンス則では、ネットワーク相互作用が存在しない。
• 報酬比較を含まないすべてのダイナミクスにおいて、協力水準cの最終値は、均質混合ネットワークから構造化されたネットワークまで、ほぼ同一である。
• 報酬比較に基づくダイナミクス—フェルミ則や比例的イミテーションなど—のみが顕著なネットワーク相互作用を示し、定期的格子やスケールフリーネットワークでは協力率が高くなる。
• 協力確率の定常分布P(p)は、報酬比較ルールでは二峰性のピークを示し、協力者および裏切り者の安定したクラスタを示すが、非比較ルールではp=0.5付近に集中する単峰性で広がった分布を示す。
• 学習率λ=10−2の低い強化学習は、報酬比較を含まないダイナミクスと同様の結果を示し、ネットワーク効果が認められない。
• 実験で観察されたネットワーク構造が協力結果に影響しないという観察は、人間プレイヤーが戦略更新において報酬比較を行わないという事実によって説明でき、モデルの非比較ダイナミクスと整合する。