[논문 리뷰] A multi-agent reinforcement learning model of reputation and cooperation in human groups

Kevin R. McKee, Edward Hughes외 8명|arXiv (Cornell University)|2021. 03. 08.

Evolutionary Game Theory and Cooperation인용 수 6

한 줄 요약

이 논문은 명명 가능성이 있는 개인에서만 영구적인 협력과 조율이 가능해지는 명성 기반 내재 동기가 인간과 유사한 협력과 조율을 그룹 설정에서 가능하게 한다는 것을 시뮬레이션하는 다에이전트 강화학습 모델을 제안한다. 명성 추적 기능을 갖춘 에이전트를 모델링함으로써, 개인이 식별 가능한 경우에만 인간의 행동 패턴—예를 들어 윤리적 기여와 번갈아가며 행동하는 것—이 재현되며, 이는 명성이 공공재 딜레마 상황에서 비영역적이고 시간적으로 조율된 집단 행동을 촉진한다는 것을 보여준다.

ABSTRACT

Collective action demands that individuals efficiently coordinate how much, where, and when to cooperate. Laboratory experiments have extensively explored the first part of this process, demonstrating that a variety of social-cognitive mechanisms influence how much individuals choose to invest in group efforts. However, experimental research has been unable to shed light on how social cognitive mechanisms contribute to the where and when of collective action. We build and test a computational model of human behavior in Clean Up, a social dilemma task popular in multi-agent reinforcement learning research. We show that human groups effectively cooperate in Clean Up when they can identify group members and track reputations over time, but fail to organize under conditions of anonymity. A multi-agent reinforcement learning model of reputation demonstrates the same difference in cooperation under conditions of identifiability and anonymity. In addition, the model accurately predicts spatial and temporal patterns of group behavior: in this public goods dilemma, the intrinsic motivation for reputation catalyzes the development of a non-territorial, turn-taking strategy to coordinate collective action.

연구 동기 및 목표

• 사회인지 메커니즘 중 하나인 명성이 개인의 협력 정도뿐 아니라 협력의 *장소*와 *시기*에 어떻게 영향을 미치는지 조사하기 위해.
• 기존 실험 연구가 기여 수준에 집중한 반면 공간적 및 시간적 조율 역학을 간과한 점을 보완하기 위해.
• 인간 집단에서 나타나는 탄생하는 조율 전략을 캡처하는 데 목적이 있는 다에이전트 딥 강화학습 기반의 계산 모델을 개발하고 검증하기 위해.
• 내재된 명성에 대한 동기가 복잡한 공간-시간 환경에서 비영역적이고 번갈아가며 행동하는 조율 전략의 출현을 설명할 수 있는지 테스트하기 위해.
• 모델 예측을 청소 작업에서의 인간 행동 데이터와 비교하여 모델의 생태학적 타당성을 검증하기 위해.

제안 방법

• 모델은 공간적 및 시간적 역학을 갖춘 2D 격자 환경인 '청소'에서 훈련된 다에이전트 딥 강화학습 프레임워크를 사용한다. 이 환경은 공공재 딜레마를 시뮬레이션한다.
• 에이전트는 환경의 관측치—예를 들어 사과 위치, 강 오염 수준, 다른 에이전트의 행동—를 받으며, 개별 보상을 최대화하기 위해 운동 행동(예: 이동, 청소, 제재)을 취한다.
• 내재된 보상 신호는 명성 기반으로 도입된다: 에이전트는 그룹 내 지위 향상을 돕는 행동을 할 때 추가 보상을 받는다. 이는 관측된 협력과 제재의 함수로 모델링된다.
• 명성 메커니즘은 과거 행동의 일관성과 질을 추적하는 학습된 가치 함수를 통해 구현되며, 향후 협력 결정에 영향을 준다.
• 모델는 경험 재생과 타겟 네트워크를 사용한 딥 Q네트워크(DQN)로 훈련되며, 터미널 전략과 기여 일관성 등의 지표를 통해 집단 수준의 조율을 평가한다.
• 모델 성능은 통제된 실험에서 확보한 인간 행동 데이터와 비교되며, ANOVA, 회귀 분석 및 중재 분석을 사용한 통계적 검증이 이루어진다.

실험 결과

연구 질문

• RQ1 공공재 과제에서 공간적 및 시간적 복잡성이 있는 상황에서 명성 추적 기능이 존재할 경우 집단 행동의 일관성과 조율성이 더 높아지는가?
• RQ2 식별 가능성(비밀 유지 대비)이 인간 및 에이전트 집단에서 번갈아가며 행동하는 전략과 시간적 조율 전략의 출현에 어떻게 영향을 미치는가?
• RQ3 내재된 명성에 대한 동기가 집단의 식별 가능성과 집단 성과 간의 관계를 어느 정도 중재하는가?
• RQ4 다에이전트 강화학습 모델이 인간의 기여 일관성 및 조율 전략 패턴을 재현할 수 있는가?
• RQ5 기여의 시간적 일관성이 집단 행동 과제에서 집단 수준의 성과를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 식별 가능한 조건에서 인간 집단의 집단 수익이 유의적으로 더 높았으며(평균 = 244.9), 조건이 성과에 유의미한 주 효과를 가졌고(p < 0.0001).
• 식별 가능한 조건에서 번갈아가며 행동하는 전략의 일관성이 더 높았으며, 평균 점수는 0.62였고, 익명 조건에서는 0.58였다(F(1,310) = 29.4, p < 0.0001).
• 기여의 시간적 일관성은 식별 가능한 조건에서 더 높았으며(평균 = 0.85), 익명 조건에서는 평균 0.84였고, 주 효과가 유의미했다(F(1,310) = 9.8, p = 0.0019).
• 기여 일관성은 집단 수익과 정적 상관관계를 보였다(β = 9596.6, 95% 신뢰구간 [7537.1, 11656.0], p < 0.0001), 이는 안정적이고 예측 가능한 협력이 집단 성과를 향상시킨다는 것을 시사한다.
• 중재 분석 결과, 번갈아가며 행동하는 전략이 식별 가능성과 집단 수익 간의 관계를 유의미하게 중재했다(간접 효과 AB = 70.9, 95% 신뢰구간 [37.2, 112.4], p < 0.0001), 번갈아가며 행동하는 전략을 고려한 후 직접 효과는 244.9에서 174.0으로 감소했다.
• 다에이전트 RL 모델은 인간 행동 패턴을 성공적으로 재현했다: 식별 가능성 조건에서 더 높은 협력과 조율을 보였으며, 명성에 의해 이끌리는 비영역적이고 번갈아가며 행동하는 전략의 출현을 포함한 공간적 및 시간적 조율 역학을 정확하게 예측했다.