[논문 리뷰] Social diversity and social preferences in mixed-motive reinforcement learning

Kevin R. McKee, Ian Gemp외 4명|arXiv (Cornell University)|2020. 02. 06.

Experimental Behavioral Economics Studies인용 수 18

한 줄 요약

이 논문은 혼합동기 게임에서 다양한 사회적 선호를 모델링하기 위해 다중에이전트 강화학습에 사회가치기여도(Social Value Orientation, SVO)를 도입한다. 자기 이기적에서 공익적까지 다양한 SVO를 가진 에이전트를 부여함으로써, 집단 성과와 정책 일반화 측면에서 이질적인 인구 집단이 동일한 인구 집단보다 뛰어난 성능을 보임을 입증한다. 특히 균형 감수성 지표에서 두드러진다.

ABSTRACT

Recent research on reinforcement learning in pure-conflict and pure-common interest games has emphasized the importance of population heterogeneity. In contrast, studies of reinforcement learning in mixed-motive games have primarily leveraged homogeneous approaches. Given the defining characteristic of mixed-motive games--the imperfect correlation of incentives between group members--we study the effect of population heterogeneity on mixed-motive reinforcement learning. We draw on interdependence theory from social psychology and imbue reinforcement learning agents with Social Value Orientation (SVO), a flexible formalization of preferences over group outcome distributions. We subsequently explore the effects of diversity in SVO on populations of reinforcement learning agents in two mixed-motive Markov games. We demonstrate that heterogeneity in SVO generates meaningful and complex behavioral variation among agents similar to that suggested by interdependence theory. Empirical results in these mixed-motive dilemmas suggest agents trained in heterogeneous populations develop particularly generalized, high-performing policies relative to those trained in homogeneous populations.

연구 동기 및 목표

• 혼합동기 환경에서 사회적 선호 다양성이 다중에이전트 강화학습에 미치는 영향을 조사하기 위해.
• 순수 갈등 또는 순수 공통이익 설정과는 달리 혼합동기 마르코프 게임에서 상대 이질성에 대한 관심 부족을 해결하기 위해.
• 보상 분배에 대한 내재된 동기의 형식화인 사회가치기여도(SVO)를 사용하여 인간 유사 사회적 선호를 모델링하기 위해.
• SVO 다양성이 동일한 인구 집단과 비교해 더 강건하고 높은 성능을 보이며 일반화된 정책을 도출하는지 평가하기 위해.
• 에이전트의 동기를 상호의존 이론과 SVO 프레임워크에 기반하여 다중에이전트 강화학습과 사회심리학을 연결하기 위해.

제안 방법

• 자기 및 타자 결과에 대한 선호를 표현하는 매개변수화된 표현인 사회가치기여도(SVO)를 강화학습 에이전트에 부여하였다.
• SVO를 두 가지 혼합동기 마르코프 게임인 HarvestPatch와 수정된 협력의 다이레마 변형에 적용하였다.
• SVO를 내재된 동기 요소로 사용하여 다중에이전트 강화학습 알고리즘을 사용해 에이전트를 훈련시켰다.
• 인구 집단의 SVO 분포를 다양화하여 동일한(예: 모두 이타적) 및 이질적인(예: 혼합된 이기적, 이타적, 경쟁적) 훈련 제도를 구축하였다.
• 상호의존 이론의 결과 전환 과정을 사용하여 원시 보상값을 주관적 선호를 반영하는 효과적 매트릭스로 변환하였다.
• 집단 보상과 균형 감수성 지표(예: 보상 분포의 지니계수)를 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 혼합동기 마르코프 게임에서 사회적 선호(SVO)의 인구 집단 이질성이 학습 결과에 어떤 영향을 미치는가?
• RQ2 내재된 동기에서 SVO 기반의 다양성이 동일한 SVO 인구 집단보다 더 높은 집단 성과를 이끌 수 있는가?
• RQ3 이질적인 SVO 인구 집단에서 훈련된 에이전트는 동일한 설정에서 훈련된 에이전트에 비해 더 일반화되고 강건한 정책을 개발하는가?
• RQ4 SVO 기반의 선호가 다중에이전트 상호작용에서 상호의존 이론의 예측과 어느 정도 일치하는가?
• RQ5 SVO 다양성이 양측이 모두 이타적 전환을 동시에 채택할 경우 발생하는 비효율성을 완화할 수 있는가?

주요 결과

• 이질적인 SVO 인구 집단은 특히 균형 감수성 지표에서 동일한 이타적 인구 집단보다 유의미하게 높은 집단 수익을 달성하였다.
• 이질적인 인구 집단에서 훈련된 에이전트는 다양한 상대 행동에 대응하는 데 강건한 성능을 보이며 더 일반화된 정책을 개발하였다.
• HarvestPatch 환경에서 SVO가 높은 에이전트는 사과가 수확되지 않은 상태에서도 강을 청소할 가능성이 더 높았으며, 이는 이타적 협력의 증거였다.
• 동일한 이타적 인구 집단은 과도하게 특화된 에이전트를 생성하였으며, 이는 내재적 또는 외재적 동기를 악용하여 집단적 성과가 최적화되지 않았다.
• 결과는 상호 이타적 전환이 둘 다 적용될 경우 비효율적인 결과가 발생할 수 있다는 상호의존 이론의 예측과 일치하였다.
• SVO 다양성은 대칭적인 이타성의 비효율성을 피할 수 있도록 지원하여 안정적이고 높은 성능을 보이는 관행의 발생을 촉진하였다.