[논문 리뷰] Cooperation and Reputation Dynamics with Reinforcement Learning

Nicolas Anastassacos, Julián García외 2명|arXiv (Cornell University)|2021. 02. 15.

Evolutionary Game Theory and Cooperation참고 문헌 34인용 수 6

한 줄 요약

이 논문은 강화학습(RL) 에이전트가 협력을 유지하는 데 효과적인 명성 체계를 자율적으로 학습하고 공조할 수 있는 방법을 조사한다. 표준 Q-학습에서 수렴하는 부분 최적 균형에 비해, 협력을 안정화하기 위해 고정된 에이전트를 도입하여 명성 레이블링을 이끌고, 자기 성능 기반의 내재적 자기 반성 보상 기반의 두 메커니즘을 제안한다. 이로 인해 완전히 분산된 환경에서도 최대 80%의 협력 수준을 달성한다.

ABSTRACT

Creating incentives for cooperation is a challenge in natural and artificial systems. One potential answer is reputation, whereby agents trade the immediate cost of cooperation for the future benefits of having a good reputation. Game theoretical models have shown that specific social norms can make cooperation stable, but how agents can independently learn to establish effective reputation mechanisms on their own is less understood. We use a simple model of reinforcement learning to show that reputation mechanisms generate two coordination problems: agents need to learn how to coordinate on the meaning of existing reputations and collectively agree on a social norm to assign reputations to others based on their behavior. These coordination problems exhibit multiple equilibria, some of which effectively establish cooperation. When we train agents with a standard Q-learning algorithm in an environment with the presence of reputation mechanisms, convergence to undesirable equilibria is widespread. We propose two mechanisms to alleviate this: (i) seeding a proportion of the system with fixed agents that steer others towards good equilibria; and (ii), intrinsic rewards based on the idea of introspection, i.e., augmenting agents' rewards by an amount proportionate to the performance of their own strategy against themselves. A combination of these simple mechanisms is successful in stabilizing cooperation, even in a fully decentralized version of the problem where agents learn to use and assign reputations simultaneously. We show how our results relate to the literature in Evolutionary Game Theory, and discuss implications for artificial, human and hybrid systems, where reputations can be used as a way to establish trust and cooperation.

연구 동기 및 목표

• RL 에이전트가 협력을 지속하는 데 효과적인 명성 메커니즘을 독립적으로 학습하고 공조할 수 있는 방법을 조사하는 것.
• 표준 Q-학습이 명성 기반 협력 게임에서 효율적인 균형에 수렴하지 못하는 이유를 규명하는 것.
• 고정된 에이전트 도입과 내재적 자기 반성 보상이 RL 에이전트가 안정적이고 협력적인 균형으로 유도하는 데 얼마나 효과적인지 평가하는 것.
• 진화 게임 이론(EGT)의 예측과 RL 기반 학습의 예측을 명성 역학에서 비교하는 것.
• 고정된 에이전트 도입과 자기 반성 보상의 조합이 완전히 분산된 자율 시스템에서도 높은 협력 수준을 달성할 수 있음을 보여주는 것.

제안 방법

• 에이전트들은 이중 명성(협력자 또는 배신자)이 있는 반복적인 사회적 딜레마에서 표준 Q-학습을 사용해 훈련된다.
• 사회적 규범에 따라 에이전트가 명성을 할당하고, 행동이 다른 이들의 명성에 따라 조정되는 명성 체계가 도입된다.
• 고정된 비율의 에이전트를 사전 정의된 상호적 전략을 가진 고정된 에이전트로 도입하여 시스템을 원하는 균형으로 이끄는 것이 '시딩(seeding)'이다.
• 자기 반성 보상은 자기 자신과의 대결에서의 성과 비례하여 내재적 보상으로 추가되며, 이는 자기 일관된 협력 행동을 촉진한다.
• 에이전트들이 명성 할당 및 행동 정책을 동시에 학습하는 완전히 분산된 환경에서 시스템이 테스트된다.
• 다양한 균형이 분석되며, 특히 안정적인 협력을 지지하는 규범과 행동 규칙의 조합을 규명하는 데 초점이 맞춰진다.

실험 결과

연구 질문

• RQ1 표준 Q-학습 알고리즘이 분산된 명성 기반 협력 게임에서 협력 균형에 수렴할 수 있는가?
• RQ2 효과적인 사회적 규범이 존재하는 상황에서도 RL 에이전트가 부분 최적 균형으로 수렴하는 이유는 무엇인가?
• RQ3 고정된 에이전트 도입이 RL 에이전트가 단일 협력 명성 규범으로 공조하도록 이끄는 데 얼마나 효과적인가?
• RQ4 외부 공조 없이 자기 반성 기반 내재 보상이 협력을 안정화시킬 수 있는가?
• RQ5 시딩과 자기 반성 보상의 조합이 분산된 명성 체계에서 높은 협력 수준을 달성하는 데 미치는 통합 효과는 무엇인가?

주요 결과

• 표준 Q-학습은 효과적인 사회적 규범이 존재하는 경우에도 명성 레이블링에서의 공조 실패로 인해 바람직하지 않은 균형으로 자주 수렴한다.
• 고정된 상호적 전략을 가진 50%의 에이전트를 시딩하면 공조가 크게 향상되어 명성 규범 3과 행동 규칙 5로 유도되며, 이는 안정적인 협력을 지지한다.
• 자기 성과 기반의 자기 반성 보상은 협력 전략을 선호하게 하며, 특히 시딩과 조합했을 때 효과가 뚜렷하다.
• 시딩과 자기 반성 보상의 조합은 완전히 분산된 환경에서 최대 80%의 협력을 달성하여 두 메커니즘이 강력한 상호보완성을 보인다.
• 결과는 명성 체계가 존재할 경우 진화 게임 이론 모델이 협력 잠재력을 과대평가한다는 것을 보여주며, 이는 사회적 학습을 가정하기 때문이며, 개인의 RL 기반 탐색을 고려하지 않는다.
• 안정성 분석 결과, 다수의 균형이 존재하며, RL 에이전트는 효과적인 명성 레이블에 대한 공조 실패를 피하기 위해 외부 조정 메커니즘이 필요하다.