[論文レビュー] A multi-agent reinforcement learning model of reputation and cooperation in human groups

Kevin R. McKee, Edward Hughes+8 more|arXiv (Cornell University)|Mar 8, 2021

Evolutionary Game Theory and Cooperation被引用数 6

ひとこと要約

本論文は、レピュテーションに基づく内的動機が、集団的状況における人間らしい協力と調整をいかに促すかを模倣するマルチエージェント強化学習モデルを提案する。エージェントにレピュテーション追跡を組み込むことで、個々のエージェントが識別可能である場合に限って、ターン・バイ・ターンや一貫した貢献といった人間の行動パターンが再現される。これは、レピュテーションが、公共財のジレンマにおいて、領土的でない、時間的に整合した集団的行動を促進することを示している。

ABSTRACT

Collective action demands that individuals efficiently coordinate how much, where, and when to cooperate. Laboratory experiments have extensively explored the first part of this process, demonstrating that a variety of social-cognitive mechanisms influence how much individuals choose to invest in group efforts. However, experimental research has been unable to shed light on how social cognitive mechanisms contribute to the where and when of collective action. We build and test a computational model of human behavior in Clean Up, a social dilemma task popular in multi-agent reinforcement learning research. We show that human groups effectively cooperate in Clean Up when they can identify group members and track reputations over time, but fail to organize under conditions of anonymity. A multi-agent reinforcement learning model of reputation demonstrates the same difference in cooperation under conditions of identifiability and anonymity. In addition, the model accurately predicts spatial and temporal patterns of group behavior: in this public goods dilemma, the intrinsic motivation for reputation catalyzes the development of a non-territorial, turn-taking strategy to coordinate collective action.

研究の動機と目的

• 社会的認知的メカニズムの一つであるレピュテーションが、個人の協力度に加え、集団的行動における『どこで』『いつ』協力が起こるかに与える影響を調査すること。
• 実験的研究が貢献度の水準に主に注目している一方で、空間的および時間的調整ダイナミクスを無視しているというギャップを埋めること。
• 人間の集団における出現的調整戦略を捉えることができる、マルチエージェントディープ強化学習を用いた計算モデルの構築と検証すること。
• 内的動機としてのレピュテーションが、複雑で空間的・時間的要因を含む環境において、領土的でないターン・バイ・ターンの調整戦略の出現を説明できるかを検証すること。
• モデルの予測をクリーン・アップタスクから得た人間の行動データと比較し、モデルの生態的妥当性を検証すること。

提案手法

• モデルは、空間的・時間的ダイナミクスを有する『クリーン・アップ』と呼ばれる2次元グリッドワールド環境で学習されるマルチエージェントディープ強化学習フレームワークを用いる。
• エージェントは、リンゴの位置、川の汚染度、他のエージェントの行動といった環境の観測値を受け取り、移動・清掃・罰則適用などのモータ行動をとり、個々の報酬を最大化する。
• レピュテーションに基づく内的報酬信号が導入される：エージェントは、協力や罰則の観察に基づき、グループ内での評価を向上させる行動に対して追加報酬を得る。
• レピュテーション機構は、エージェントの過去行動の一貫性と質を追跡する学習済み価値関数として実装され、将来の協力意思決定に影響を与える。
• モデルは、経験リプレイとターゲットネットワークを用いた深層Qネットワーク（DQN）で訓練され、ターン・バイ・ターンや貢献の一貫性といった指標を通じて集団レベルの調整を評価する。
• モデルの性能は、制御された実験から得た人間の行動データと比較され、分散分析（ANOVA）、回帰分析、および媒介分析を用いた統計的検証が行われる。

実験結果

リサーチクエスチョン

• RQ1 空間的・時間的複雑性を有する公共財課題において、レピュテーション追跡の有無が、集団行動の整合性と調整性に与える影響は何か？
• RQ2 識別可能性（匿名性対比）は、人間およびエージェント集団におけるターン・バイ・ターン戦略と時間的調整戦略の出現にどのように影響するか？
• RQ3 内的動機としてのレピュテーションが、集団の識別可能性と集団的パフォーマンスの関係をどれほど媒介するか？
• RQ4 マルチエージェント強化学習モデルは、貢献の一貫性と調整戦略の観点で、観察された人間の行動パターンを再現できるか？
• RQ5 貢献の一貫性の時間的安定性が、集団的行動課題における集団レベルのパフォーマンスに果たす役割は何か？

主な発見

• 識別可能な条件では、人間の集団が平均244.9の集団的リターンを示し、匿名条件よりも有意に高い水準であった。条件によるパフォーマンスへの主効果は有意であった（p < 0.0001）。
• 識別可能な条件では、平均ターン・バイ・ターンスコアが0.62にのぼり、匿名条件の0.58よりも一貫性が高かった（F(1,310) = 29.4, p < 0.0001）。
• 貢献の一貫性の時間的安定性は、識別可能な条件（平均 = 0.85）で匿名条件（平均 = 0.84）よりも有意に高かった。主効果は有意であった（F(1,310) = 9.8, p = 0.0019）。
• 貢献の一貫性は集団的リターンと正の相関を示した（β = 9596.6、95%信頼区間 [7537.1, 11656.0]、p < 0.0001）。安定的かつ予測可能な協力が集団の成果を向上させることを示している。
• 媒介分析により、ターン・バイ・ターンが識別可能性と集団的リターンの関係を有意に媒介していることが確認された（間接効果AB = 70.9、95%信頼区間 [37.2, 112.4]、p < 0.0001）。ターン・バイ・ターンを考慮した後、直接効果は244.9から174.0に減少した。
• マルチエージェントRLモデルは、人間の行動パターンを成功裏に再現した。識別可能性下でより高い協力と調整が観察され、レピュテーションによって駆動される、領土的でないターン・バイ・ターン戦略の出現を含め、空間的・時間的調整ダイナミクスを正確に予測した。