[論文レビュー] Deep reinforcement learning models the emergent dynamics of human cooperation

Kevin R. McKee, Edward Hughes+8 more|arXiv (Cornell University)|Mar 8, 2021

Evolutionary Game Theory and Cooperation参考文献 2被引用数 4

ひとこと要約

この論文では、多エージェント深層強化学習を用いて、内的レピュテーション動機が集団行動における人間らしい空間的・時間的調整をどのように駆動するかをモデル化している。モデルは、レピュテーション志向が、公共財のジレンマにおいて、領土的でない、ターンキーリング戦略を採用するグループを予測することに成功しており、観察された人間の行動データと整合している。

ABSTRACT

Collective action demands that individuals efficiently coordinate how much, where, and when to cooperate. Laboratory experiments have extensively explored the first part of this process, demonstrating that a variety of social-cognitive mechanisms influence how much individuals choose to invest in group efforts. However, experimental research has been unable to shed light on how social cognitive mechanisms contribute to the where and when of collective action. We leverage multi-agent deep reinforcement learning to model how a social-cognitive mechanism--specifically, the intrinsic motivation to achieve a good reputation--steers group behavior toward specific spatial and temporal strategies for collective action in a social dilemma. We also collect behavioral data from groups of human participants challenged with the same dilemma. The model accurately predicts spatial and temporal patterns of group behavior: in this public goods dilemma, the intrinsic motivation for reputation catalyzes the development of a non-territorial, turn-taking strategy to coordinate collective action.

研究の動機と目的

• 社会的認知的メカニズム、特にレピュテーション動機が集団行動のタイミングと空間的調整にどのように影響するかを調査すること。
• 単に「どれだけ」貢献するかという点にとどまらず、「どこで」「いつ」協力が生じるかという点における実験的研究のギャップを埋めること。
• 深層強化学習を用いて、グループジレンマにおける出現的調整パターンを捉える計算モデルを開発すること。
• 制御された社会的ジレンマにおける人間参加者の実証的行動データと照らして、モデルを検証すること。
• レピュテーション動機が、集団協力において、領土的でない、ターンキーリング戦略をもたらすことを示すこと。

提案手法

• 多エージェント深層強化学習を用いて、公共財ジレンマにおいてエージェントが協力を調整するのをシミュレートした。
• 内在的レピュテーションを報酬信号として統合し、エージェントは仲間内での高いレピュテーションを維持することで報酬を得た。
• 共有ポリシー・ネットワークを用いた深層Qネットワーク（DQN）を用いてエージェントを訓練し、明示的なルールなしに出現的調整を可能にした。
• エージェントの位置とターンキーリング行動をモデル化することで、構造化された環境における空間的・時間的ダイナミクスをシミュレートした。
• 生態的妥当性を確保するため、人間実験からの行動データを用いてモデルをキャリブレーションした。
• 予測された空間的・時間的調整パターンと観察された人間行動を比較することで、モデルのパフォーマンスを評価した。

実験結果

リサーチクエスチョン

• RQ1 内在的レピュテーション動機は、グループジレンマにおける協力のタイミングと空間的分布にどのように影響するか？
• RQ2 深層強化学習モデルは、人間のグループで観察された出現的調整パターンを再現できるか？
• RQ3 レピュテーションに基づく行動は、集団行動において、領土的でない、ターンキーリング戦略をもたらすか？
• RQ4 レピュテーションのような社会的認知的メカニズムは、単純な貢献水準を越えて、構造的協力の出現にどのように影響するか？
• RQ5 モデルの予測行動が、公共財設定における実際の人間行動データとどの程度一致するか？

主な発見

• モデルは、集団協力における非領土的でターンキーリング戦略の出現を正確に予測し、観察された人間の行動と一致した。
• レピュテーション動機が単独で、明示的な通信やルールなしに、協調的で空間的に分散した協力を駆動した。
• 人間参加者は、同様のターンキーリングと非領土的調整パターンを示し、モデルの予測が妥当であることを裏付けた。
• モデルは、レピュテーションに基づくインcentivesが、社会的ジレンマにおいて効率的で自己組織的調整をもたらす可能性を示した。
• 空間的・時間的調整は、レピュテーションに基づく学習から自然に出現し、社会的認知的メカニズムが集団ダイナミクスに与える役割を強調した。
• モデルの予測と人間のデータの整合性から、レピュテーションが現実世界の集団行動における出現的調整の主要因である可能性が示された。