[논문 리뷰] Emergent Reciprocity and Team Formation from Randomized Uncertain Social Preferences

Bowen Baker|arXiv (Cornell University)|2020. 11. 10.

Evolutionary Game Theory and Cooperation인용 수 5

한 줄 요약

이 논문은 랜덤화된 불확실한 사회적 선호도(Randomized Uncertain Social Preferences, RUSP)를 소개한다. RUSP는 혼합 동기 설정에서 다중 에이전트 강화학습 에이전트를 훈련시키기 위해 확장 가능한 환경 보완 기법으로, 보상 공유에 대한 랜덤성과 불확실성을 포함한다. RUSP는 원래 게임의 동역학을 수정하지 않고도 상호 보상, 명성 체계, 팀 편성과 같은 핵심 사회적 협력 메커니즘을 유도하며, 행렬 게임과 복잡한 환경 모두에서 더 높은 사회적 복지 균형에 도달한다.

ABSTRACT

Multi-agent reinforcement learning (MARL) has shown recent success in increasingly complex fixed-team zero-sum environments. However, the real world is not zero-sum nor does it have fixed teams; humans face numerous social dilemmas and must learn when to cooperate and when to compete. To successfully deploy agents into the human world, it may be important that they be able to understand and help in our conflicts. Unfortunately, selfish MARL agents typically fail when faced with social dilemmas. In this work, we show evidence of emergent direct reciprocity, indirect reciprocity and reputation, and team formation when training agents with randomized uncertain social preferences (RUSP), a novel environment augmentation that expands the distribution of environments agents play in. RUSP is generic and scalable; it can be applied to any multi-agent environment without changing the original underlying game dynamics or objectives. In particular, we show that with RUSP these behaviors can emerge and lead to higher social welfare equilibria in both classic abstract social dilemmas like Iterated Prisoner's Dilemma as well in more complex intertemporal environments.

연구 동기 및 목표

• 협력 균형이 존재하지만 학습되지 않는 사회적 딜레마 환경에서 표준 다중 에이전트 강화학습 방법의 실패를 해결하기 위해.
• 에이전트가 상호 반응적인 행동, 예를 들어 상호 보상과 팀 편성과 같은 사회적 반응 행동을 학습할 수 있도록 일반적이고 확장 가능한 방법을 개발하기 위해.
• 사회적 선호도에 대한 불확실성이 있는 혼합 동기 설정에서 에이전트를 훈련시켜 비협력적 에이전트와 인간과의 상호작용에 대한 강건성을 확보하기 위해.
• 훈련 중 다양한 불확실한 사회적 동역학에 노출시킴으로써 실세계 사회적 상호작용으로의 일반화를 가능하게 하기 위해.
• 다중 에이전트 시스템에서의 사회적 딜레마에 대한 향후 연구를 위해 환경를 오픈소스로 제공하기 위해.

제안 방법

• RUSP는 훈련 중 각 에이전트에 대해 랜덤화된, 에이전트별로 다른 보상 변환 행렬을 도입한다. 각 에이전트는 다른 이들과 일부 보상을 공유하지만, 공유 비율에 대해 상호 독립적인 불확실성이 존재한다.
• 에이전트들은 상호 간의 불확실한 관계에 조건화되어 정보 비대칭을 유도하며, 이는 사회적으로 반응하는 정책을 학습하도록 압박한다.
• 이 방법은 원래 게임의 동역학이나 목표를 수정하지 않아 일반적이고 모든 다중 에이전트 환경에 적용 가능하다.
• 사회적 선호 구성의 분포를 통해 훈련함으로써, 에이전트는 강건하고 맥락에 민감한 협력 전략을 학습하게 된다.
• 에이전트는 사회적 선호가 없는 원래 게임에서 평가되며, 이는 행동이 표준 설정에서 평가됨을 보장한다.
• 이 접근법은 에이전트를 특정 집단에 고정시키는 대신, 관계 유형(예: 협력적, 경쟁적)에 따라 조건화함으로써 원래 게임에서의 평가가 가능하게 한다.

실험 결과

연구 질문

• RQ1 기본 게임 동역학을 수정하지 않고도 다중 에이전트 강화학습 에이전트가 사회적 딜레마에서 직접적·간접적 상호 보상 행동을 학습할 수 있는가?
• RQ2 불확실하고 랜덤화된 사회적 선호도 하에 훈련되었을 때 다중 에이전트 강화학습 에이전트에서 팀 편성이 자연스럽게 유도되는가?
• RQ3 RUSP는 추상적인 행렬 게임과 복잡한 시간에 따라 변화하는 환경 모두에서 더 높은 사회적 복지 균형에 도달하는가?
• RQ4 RUSP로 훈련된 에이전트는 비협력적 행동을 탐지하고 대응할 수 있도록 학습함으로써 실세계 사회적 딜레마로 일반화할 수 있는가?
• RQ5 불확실한 사회적 선호도에서 유도되는 정보 비대칭은 명성과 협력의 유도에 어떤 영향을 미치는가?

주요 결과

• RUSP는 다양한 환경에서 다중 에이전트 강화학습 에이전트의 직접적 상호 보상, 간접적 상호 보상, 명성 체계를 성공적으로 촉진하였다.
• 다중 에이전트 환경에서 팀 편성이 자연스럽게 유도되었으며, 에이전트들은 공통된 선호도를 기반으로 자율적으로 협력 코али션을 구성하였다.
• RUSP로 훈련된 에이전트는 반복적 포로의 딜레마와 복잡한 시간에 따라 변화하는 환경 모두에서 표준 다중 에이전트 강화학습 기반선보다 더 높은 사회적 복지 균형을 달성하였다.
• 이 방법은 일반적이고 확장 가능하며, 원래 게임의 동역학이나 목표를 수정할 필요 없이 모든 다중 에이전트 환경에 적용 가능하다.
• 평가 결과, RUSP로 훈련된 에이전트는 사회적 선호가 없는 원래 게임에서 더 나은 성능을 보였으며, 이는 강건한 일반화 능력을 의미한다.
• 저자들은 훈련 중 비사회적 선호도가 오히려 더 안정적인 명성 체계를 유도하는 것을 관찰하였으며, 이는 사회적 선호도 훈련의 더 넓은 설계 공간을 시사한다.