[論文レビュー] Cooperation and Reputation Dynamics with Reinforcement Learning

Nicolas Anastassacos, Julián García+2 more|arXiv (Cornell University)|Feb 15, 2021

Evolutionary Game Theory and Cooperation参考文献 34被引用数 6

ひとこと要約

この論文は、強化学習（RL）エージェントが協力を維持するために、自律的かつ自己組織的に効果的なレピュテーションシステムを学習・協調する方法を調査する。標準的なQ学習では収束が非効率な均衡にとどまるが、本研究では、報酬ラベルの固定エージェントを導入する手法と、自己のパフォーマンスに基づく内省的報酬を組み合わせることで、協力を安定化させ、完全に分散化された環境でも最大80%の協力率を達成した。

ABSTRACT

Creating incentives for cooperation is a challenge in natural and artificial systems. One potential answer is reputation, whereby agents trade the immediate cost of cooperation for the future benefits of having a good reputation. Game theoretical models have shown that specific social norms can make cooperation stable, but how agents can independently learn to establish effective reputation mechanisms on their own is less understood. We use a simple model of reinforcement learning to show that reputation mechanisms generate two coordination problems: agents need to learn how to coordinate on the meaning of existing reputations and collectively agree on a social norm to assign reputations to others based on their behavior. These coordination problems exhibit multiple equilibria, some of which effectively establish cooperation. When we train agents with a standard Q-learning algorithm in an environment with the presence of reputation mechanisms, convergence to undesirable equilibria is widespread. We propose two mechanisms to alleviate this: (i) seeding a proportion of the system with fixed agents that steer others towards good equilibria; and (ii), intrinsic rewards based on the idea of introspection, i.e., augmenting agents' rewards by an amount proportionate to the performance of their own strategy against themselves. A combination of these simple mechanisms is successful in stabilizing cooperation, even in a fully decentralized version of the problem where agents learn to use and assign reputations simultaneously. We show how our results relate to the literature in Evolutionary Game Theory, and discuss implications for artificial, human and hybrid systems, where reputations can be used as a way to establish trust and cooperation.

研究の動機と目的

• RLエージェントが協力を維持するためのレピュテーションメカニズムを自律的に学習・協調する方法を調査すること。
• レピュテーションに基づく協力ゲームにおいて、標準的なQ学習が効率的均衡に収束しない理由を特定すること。
• 固定エージェントのシーディングと内省的内部報酬の有効性を評価し、安定した協力均衡への誘導を検証すること。
• 進化的ゲーム理論（EGT）の予測と、レピュテーションダイナミクスにおけるRL駆動の学習行動の予測を比較すること。
• シーディングと内省の組み合わせが、完全に分散化された自己組織的システムで高い協力水準を達成できることを示すこと。

提案手法

• エージェントは、二値のレピュテーション（協力的または裏切り者）を持つ繰り返し社会的ジレンマで、標準的なQ学習を使用して訓練された。
• 社会的規範に基づいてエージェントがレピュテーションを割り当て、行動が他者のレピュテーションに依存するレピュテーションシステムを導入した。
• シーディングは、事前に定義された相互的戦略を有する固定割合のエージェントを導入し、望ましい均衡へ向かってシステムを誘導する。
• 内省的報酬は、エージェント自身のコピーとの対戦におけるパフォーマンスに比例する内部報酬として追加され、自己一貫性のある協力行動を促進する。
• エージェントが同時にレピュテーション割り当てと行動方策を学習する完全に分散化された環境でシステムをテストした。
• 複数の均衡が分析され、どの規範と行動ルールの組み合わせが安定した協力をもたらすかに焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 標準的なQ学習アルゴリズムは、分散化されたレピュテーションに基づく協力ゲームで協力的均衡に収束できるか？
• RQ2 効果的な社会的規範が存在するにもかかわらず、RLエージェントが非効率な均衡に収束する原因は何か？
• RQ3 固定エージェントのシーディングは、RLエージェントが単一の協力的レピュテーション規範に協調するのをどの程度効果的に導けるか？
• RQ4 外部の協調が存在しない状況で、内省的報酬に基づく内部報酬は協力を安定化させられるか？
• RQ5 シーディングと内省的報酬の組み合わせは、分散化されたレピュテーションシステムで高い協力水準を達成する上でどのような効果をもたらすか？

主な発見

• 標準的なQ学習は、効果的な社会的規範が存在する場合でも、レピュテーションラベリングにおける協調失敗のため、望ましくない均衡に頻繁に収束する。
• 50%のエージェントを固定された相互的戦略でシーディングすることで、協調性が著しく向上し、安定した協力を支持する規範3と行動ルール5へ向かってシステムが誘導された。
• 自己のパフォーマンスに基づく内省的報酬は、特にシーディングと組み合わせた場合に、エージェントが協力的戦略を好む傾向を引き出す。
• シーディングと内省的報酬の組み合わせにより、完全に分散化された状況でも最大80%の協力率が達成され、両メカニズムの強い相乗効果が示された。
• EGTモデルは、レピュテーションシステムが存在する場合、社会的学習を仮定しているため、協力の潜在可能性を過大評価していることが結果から明らかになった。
• 安定性解析から、複数の均衡が存在することが判明し、RLエージェントは、非効果的なレピュテーションラベルへの協調失敗を避けるために外部の誘導メカニズムを必要とする。