[논문 리뷰] Prosocial learning agents solve generalized Stag Hunts better than selfish ones

Alexander Peysakhovich, Adam Lerer|arXiv (Cornell University)|2017. 09. 08.

Evolutionary Game Theory and Cooperation인용 수 14

한 줄 요약

이 논문은 일반화된 사슴사냥 게임에서, 다른 에이전트가 반응형 강화학습을 사용하더라도, 단일 에이전트의 보상 함수를 수정하여 파트너의 보상에 관심을 갖게 함으로써, 고보상 균형으로의 그룹 수렴 가능성을 크게 높일 수 있음을 제안한다. 핵심 결과는 prosociality가 행렬형 게임과 함수 근사가 적용된 복잡한 마르코프 게임 모두에서 효율적인 결과의 안정성 영역을 확장한다는 것이다.

ABSTRACT

Deep reinforcement learning has become an important paradigm for constructing agents that can enter complex multi-agent situations and improve their policies through experience. One commonly used technique is reactive training - applying standard RL methods while treating other agents as a part of the learner's environment. It is known that in general-sum games reactive training can lead groups of agents to converge to inefficient outcomes. We focus on one such class of environments: Stag Hunt games. Here agents either choose a risky cooperative policy (which leads to high payoffs if both choose it but low payoffs to an agent who attempts it alone) or a safe one (which leads to a safe payoff no matter what). We ask how we can change the learning rule of a single agent to improve its outcomes in Stag Hunts that include other reactive learners. We extend existing work on reward-shaping in multi-agent reinforcement learning and show that that making a single agent prosocial, that is, making them care about the rewards of their partners can increase the probability that groups converge to good outcomes. Thus, even if we control a single agent in a group making that agent prosocial can increase our agent's long-run payoff. We show experimentally that this result carries over to a variety of more complex environments with Stag Hunt-like dynamics including ones where agents must learn from raw input pixels.

연구 동기 및 목표

• 다중에이전트 강화학습에서 효율적이지 않은 균형 선택 문제를 다루며, 특히 사슴사냥과 같은 일반합계 게임에서의 문제를 다룬다.
• 다른 에이전트가 반응형 학습을 사용할 때, 단일 에이전트의 학습 규칙을 수정함으로써 집단적 성과를 향상시킬 수 있는지 탐구한다.
• 에이전트가 파트너의 보상에 관심을 갖게 하는 prosocial 보상 형상화가 더 나은 협력과 높은 장기적 보상을 이끌 수 있는지 탐색한다.
• 단순 행렬형 게임에서의 결과를 원시 픽셀 입력과 함수 근사를 포함한 복잡한 환경으로 확장한다.
• prosociality가 다양한 게임 역학과 학습 아키텍처에서 얼마나 견고한지 평가한다.

제안 방법

• 에이전트의 보상 함수를 수정하여 자신의 보상과 파트너의 보상의 가중합을 포함하도록 보상 형상화를 적용한다.
• 모든 에이전트에 대해 독립적인 다중에이전트 강화학습(independent MARL)을 사용하며, 다른 에이전트를 환경의 일부로 간주한다.
• 원시 픽셀 관측이 가능한 환경에서 딥 Q네트워크(DQN)와 듀얼링 DQN 아키텍처를 사용해 에이전트를 훈련시킨다.
• 에이전트의 목표 함수에 파트너 보상의 가중치를 조절하는 하이퍼파라미터 α를 도입하여 prosociality를 구현한다.
• 보상 우월성, 위험 우월성, 안정성 영역 크기 등의 지표를 사용해 균형으로의 수렴을 평가한다.
• 행렬형 사슴사냥 게임과 확률적 역학을 가진 복잡한 마르코프 게임에서 prosocial 에이전트를 자기 중심적 대안과 비교한다.

실험 결과

연구 질문

• RQ1 단일 에이전트에서 prosocial 보상 형상화가 사슴사냥 게임에서 고보상 우월 균형으로의 그룹 수렴 가능성을 높일 수 있는가?
• RQ2 원시 입력(예: 픽셀)과 함수 근사를 포함한 복잡한 환경에서도 prosociality가 여전히 효과적인가?
• RQ3 자기 중심 학습 대비 prosociality가 효율적 균형의 안정성 영역 크기에 어떤 영향을 미치는가?
• RQ4 사회적 딜레마와 같은 비-사슴사냥 환경에서는 prosociality의 대안적 비용은 무엇인가?
• RQ5 균형 외 동역학과 함수 근사는 prosocial 보상 형상화의 효과성에 어떤 영향을 미치는가?

주요 결과

• 반응형 학습자를 사용하는 행렬형 사슴사냥 게임에서 prosocial 에이전트는 고보상 우월 균형으로의 그룹 수렴 확률을 크게 높인다.
• prosocial 수정은 고보상 균형의 안정성 영역을 확장하여, 초기 조건에 관계없이 효율적인 결과에 도달할 가능성을 높인다.
• 원시 픽셀 입력이 있는 복잡한 마르코프 게임에서는 탐색이 어려운 환경에서도 prosocial 에이전트가 자기 중심 에이전트보다 고보상 전략으로의 협력을 더 잘 이끈다.
• prosociality의 이점은 다양한 아키텍처와 학습 역학에 걸쳐 견고하며, 사슴이 도망가고 협력이 필요한 환경에서도 효과적이다.
• 그러나 prosociality는 사회적 딜레마와 같은 비-사슴사냥 게임에서는 해로울 수 있으며, 자기 중심 파트너에 의해 악용될 수 있다.
• 함수 근사와 네트워크 아키텍처는 서로 다른 균형을 발견할 상대적 확률에 영향을 미치며, 다중에이전트 학습에서 아키텍처 사전 지식의 중요성을 강조한다.