[논문 리뷰] Deep reinforcement learning models the emergent dynamics of human cooperation

Kevin R. McKee, Edward Hughes외 8명|arXiv (Cornell University)|2021. 03. 08.

Evolutionary Game Theory and Cooperation참고 문헌 2인용 수 4

한 줄 요약

이 논문은 다중 에이전트 딥 강화 학습을 사용하여 내재된 명성 동기가 집단 행동에서 인간 같은 공간적 및 시간적 조율을 어떻게 이끄는지 모델링한다. 이 모델은 명성 추구가 공공재 딜레마에서 비영역적이고 번갈아가며 행동하는 전략을 취하게 하여 실제 인간 행동 데이터와 일치하는 예측을 성공적으로 수행한다.

ABSTRACT

Collective action demands that individuals efficiently coordinate how much, where, and when to cooperate. Laboratory experiments have extensively explored the first part of this process, demonstrating that a variety of social-cognitive mechanisms influence how much individuals choose to invest in group efforts. However, experimental research has been unable to shed light on how social cognitive mechanisms contribute to the where and when of collective action. We leverage multi-agent deep reinforcement learning to model how a social-cognitive mechanism--specifically, the intrinsic motivation to achieve a good reputation--steers group behavior toward specific spatial and temporal strategies for collective action in a social dilemma. We also collect behavioral data from groups of human participants challenged with the same dilemma. The model accurately predicts spatial and temporal patterns of group behavior: in this public goods dilemma, the intrinsic motivation for reputation catalyzes the development of a non-territorial, turn-taking strategy to coordinate collective action.

연구 동기 및 목표

• 사회인지 메커니즘, 특히 명성 동기가 집단 행동의 시기와 공간적 조율에 어떻게 영향을 미치는지 조사하기 위해.
• 기존 연구가 기여 수준('얼마나')에만 초점을 맞추는 데 비해, 협력의 '어디서'와 '언제' 발생하는지를 다루지 못한 격차를 메우기 위해.
• 딥 강화 학습을 사용하여 그룹 딜레마에서 나타나는 탄생하는 조율 패턴을 포착하는 계산 모델을 개발하기 위해.
• 통제된 사회적 딜레마에서 인간 참가자의 경험적 행동 데이터와 모델을 검증하기 위해.
• 명성 동기가 집단 협력에서 비영역적이고 번갈아가며 행동하는 전략을 이끌어내는지 보여주기 위해.

제안 방법

• 공공재 딜레마에서 협력을 조율하는 데 학습하는 에이전트 그룹을 시뮬레이션하기 위해 다중 에이전트 딥 강화 학습을 사용하였다.
• 내재된 명성을 보상 신호로 통합하여, 에이전트가 동료들 사이에서 높은 명성을 유지할수록 보상을 얻도록 하였다.
• 공통된 정책 네트워크를 사용한 딥 Q네트워크(DQN)를 사용하여 명시적인 규칙 없이도 탄생하는 조율을 가능하게 하였다.
• 에이전트의 위치와 번갈아가며 행동하는 행동을 모델링하여 구조화된 환경에서 공간적 및 시간적 동역학을 시뮬레이션하였다.
• 모델의 생태학적 타당성을 확보하기 위해 인간 실험에서의 행동 데이터를 사용하여 모델을 校정하였다.
• 예측된 공간적 및 시간적 조율 패턴을 실제 인간 행동과 비교하여 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 내재된 명성 동기가 그룹 딜레마에서 협력의 시기와 공간 분포에 어떻게 영향을 미치는가?
• RQ2 딥 강화 학습 모델이 인간 그룹에서 관찰된 탄생하는 조율 패턴을 재현할 수 있는가?
• RQ3 명성 기반 행동이 집단 행동에서 비영역적이고 번갈아가며 행동하는 전략을 이끌어내는가?
• RQ4 명성 같은 사회인지 메커니즘이 기여 수준을 넘어서 구조화된 협력을 어떻게 이끌어내는가?
• RQ5 모델의 예측 행동이 공공재 설정에서 실제 인간 행동 데이터와 얼마나 일치하는가?

주요 결과

• 모델은 그룹 협력에서 비영역적이고 번갈아가며 행동하는 전략의 탄생을 정확히 예측하였으며, 관찰된 인간 행동과 일치하였다.
• 명성 동기만으로도 명시적인 의사소통이나 규칙 없이도 조율되고 공간적으로 분산된 협력을 이끌어내는 데 충분하였다.
• 인간 참가자들은 유사한 번갈아가며 행동하고 비영역적 조율 패턴을 보였으며, 이는 모델의 예측을 검증하였다.
• 모델는 명성 기반 인centives가 사회적 딜레마에서 효율적이고 자율적인 조율을 이끌 수 있음을 보여주었다.
• 공간적 및 시간적 조율은 명성 기반 학습에서 유기적으로 탄생하였으며, 사회인지 메커니즘이 집단 역학에 미치는 역할을 강조하였다.
• 모델 예측과 인간 데이터 간의 일치는 명성이 실제 집단 행동에서 탄생하는 조율의 핵심 추진력임을 시사한다.