[논문 리뷰] Understanding The Impact of Partner Choice on Cooperation and Social Norms by means of Multi-agent Reinforcement Learning.

Nicolas Anastassacos, Steve Hailes외 1명|arXiv (Cornell University)|2019. 02. 08.

Evolutionary Game Theory and Cooperation참고 문헌 24인용 수 2

한 줄 요약

이 논문은 다중 에이전트 강화학습에서 파트너 선택이 이기적인 에이전트 간 협력 촉진에 어떻게 기여하는지 조사한다. 과거 행동에 기반해 다른 에이전트와 선택적으로 상호작용할 수 있도록 허용함으로써, 체면을 회복하는 반응을 통해 배신자를 대응하고 협력자를 지속적으로 협력하게 하여, 명시적인 협력 유인 없이도 사회적 행동을 보이는 사회를 형성한다.

ABSTRACT

Social dilemmas have been widely studied to explain how humans are able to cooperate in society. Considerable effort has been invested in designing artificial agents for social dilemmas that incorporate explicit agent motivations that are chosen to favor coordinated or cooperative responses. The prevalence of this general approach points towards the importance of achieving an understanding of both an agent's internal design and external environment dynamics that facilitate cooperative behavior. In this paper, we investigate how partner selection can promote cooperative behavior between agents who are trained to maximize a purely selfish objective function. Our experiments reveal that agents trained with this dynamic learn a strategy that retaliates against defectors while promoting cooperation with other agents resulting in a prosocial society.

연구 동기 및 목표

• 파트너 선택이 사회적 딜레마에서 협력에 미치는 영향을 이해하는 것.
• 순수하게 이기적인 목표로 훈련된 에이전트가 동적인 파트너 선택을 통해 여전히 사회적 행동을 발달시킬 수 있는지 검토하는 것.
• 다중 에이전트 시스템에서 공정성과 복수와 같은 사회적 규범이 어떻게 나타나는지 탐색하는 것.

제안 방법

• 에이전트는 명시적인 협력 유인 없이도 개인 보상을 최대화하기 위해 딥 강화학습으로 훈련된다.
• 에이전트는 이전 협력 결과에 기반해 상호작용 파트너를 동적으로 선택한다.
• 환경은 상호 협력이 배신보다 더 높은 보상을 제공하는 사회적 딜레마를 강제한다.
• 복수는 에이전트 정책을 통해 암묵적으로 표현된다: 배신자는 향후 상호작용에서 피한다.
• 학습 과정을 통해 에이전트는 배신자를 배제하고 협력자와의 상호작용을 선호하는 전략을 개발한다.
• 시스템은 다양한 파트너 선택 규칙 하에 반복적인 사회적 딜레마 게임(예: 죄수의 딜레마)에서 평가된다.

실험 결과

연구 질문

• RQ1 파트너 선택은 이기적인 다중 에이전트 시스템에서 협력의 기원에 어떻게 영향을 미치는가?
• RQ2 명시적인 협력 유인 없이도 에이전트는 사회적 행동을 발달시킬 수 있는가?
• RQ3 파트너 선택을 통해 협력을 유지하는 데서 복수의 역할은 무엇인가?
• RQ4 이 설정에서 공정성과 배신자 배제와 같은 사회적 규범은 어떻게 기원하는가?

주요 결과

• 에이전트는 선택적 상호작용을 통해 배신자를 피함으로써 남용을 줄이고 장기적 협력을 촉진한다.
• 협력은 에이전트가 순수하게 이기적인 목표로 훈련된 상태에서도 파트너 선택의 전략적 결과로서 자연스럽게 기원한다.
• 에이전트는 과거 협력을 통해 지속적인 상호작용을 통해 보상을 받는 간접적 상호보상의 형태를 발달시킨다.
• 배신자는 향후 상호작용에서 체계적으로 배제되어 자율적으로 유지되는 사회적 환경이 형성된다.
• 협력의 기원은 여러 훈련 런과 환경 변화에 걸쳐 안정적이고 강건하다.
• 사회적 행동이 기원하기 위해 명시적인 보상 형상화나 협력 유인은 필요하지 않다.