[논문 리뷰] Model-free conventions in multi-agent reinforcement learning with heterogeneous preferences

Raphaël Koster, Kevin R. McKee외 8명|arXiv (Cornell University)|2020. 10. 18.

Reinforcement Learning in Robotics참고 문헌 74인용 수 11

한 줄 요약

이 논문은 이질적인 선호를 가진 다중 에이전트 시스템에서 모델리스 강화학습이 공통 지식이 없거나 모델 기반 계획이 필요하지 않은 상황에서도 복잡하고 안정적인 협력 관례—예를 들어 사냥 게임에서의 집단적 단일작물 상태—를 유도할 수 있음을 보여준다. 개별 에이전트가 충돌하는 내재적 선호를 지니고 있음에도 불구하고, 습관적 학습을 통해 스스로 관례를 수립하고 유지하며, 이로 인해 편차가 발생할 경우 선호도 보상이 크게 필요로 하는 상황에서도 나시 균형 및 파레토 최적 결과를 달성한다.

ABSTRACT

Game theoretic views of convention generally rest on notions of common knowledge and hyper-rational models of individual behavior. However, decades of work in behavioral economics have questioned the validity of both foundations. Meanwhile, computational neuroscience has contributed a modernized 'dual process' account of decision-making where model-free (MF) reinforcement learning trades off with model-based (MB) reinforcement learning. The former captures habitual and procedural learning while the latter captures choices taken via explicit planning and deduction. Some conventions (e.g. international treaties) are likely supported by cognition that resonates with the game theoretic and MB accounts. However, convention formation may also occur via MF mechanisms like habit learning; though this possibility has been understudied. Here, we demonstrate that complex, large-scale conventions can emerge from MF learning mechanisms. This suggests that some conventions may be supported by habit-like cognition rather than explicit reasoning. We apply MF multi-agent reinforcement learning to a temporo-spatially extended game with incomplete information. In this game, large parts of the state space are reachable only by collective action. However, heterogeneity of tastes makes such coordinated action difficult: multiple equilibria are desirable for all players, but subgroups prefer a particular equilibrium over all others. This creates a coordination problem that can be solved by establishing a convention. We investigate start-up and free rider subproblems as well as the effects of group size, intensity of intrinsic preference, and salience on the emergence dynamics of coordination conventions. Results of our simulations show agents establish and switch between conventions, even working against their own preferred outcome when doing so is necessary for effective coordination.

연구 동기 및 목표

• 모델리스 강화학습이 이질적 선호를 가진 다중 에이전트 시스템에서 복잡한 사회적 관례의 유형을 지원할 수 있는지 조사하기 위해.
• 부분 정보, 집단 행동 요구사항, 그리고 상충되는 개인적 선호가 존재하는 환경에서 관례가 어떻게 형성되는지 검토하기 위해.
• 에이전트가 분리된 내재적 보상 함수를 지닌 상황에서도 이러한 관례가 나시 균형 및 파레토 최적인지 평가하기 위해.
• 그룹 규모, 선호 강도, 부각도가 관례 유형과 안정성에 미치는 영향을 분석하기 위해.

제안 방법

• 에이전트들이 서로 다른 색상의 라즈베리를 채집하는 다중 에이전트 강화학습 환경를 설계하였으며, 이는 시간적·공간적으로 확장된 환경이다.
• 에이전트들은 환경 모델링이나 계획 없이 즉각적인 보상에 기반해 정책을 학습하는 모델리스 딥 Q러닝을 사용한다.
• 환경는 에이전트가 라즈베리를 재식할 수 있도록 하여 주된 색상을 변화시키고, 이는 집단적 성장률에 영향을 미치는 단일작물 메커니즘을 포함한다.
• 보상 함수는 선호하는 라즈베리 색상 소비에 대해 더 높은 보상을 제공하지만, 재식은 주된 색상의 성장률을 감소시킨다.
• 이론적 분석을 통해 단일작물 상태가 나시 균형이 되는 조건을 유도하였으며, 이는 주된 라즈베리 수확 손실과 선호 색상 소비로 인한 이득 간의 트레이드오프에 기반한다.
• 시뮬레이션을 통해 그룹 규모, 선호 강도(t), 부각도를 변화시켜 관례 형성 동역학과 안정성에 영향을 분석하였다.

실험 결과

연구 질문

• RQ1 모델 기반 계획이 없는 상황에서 모델리스 다중 에이전트 강화학습이 안정적이고 대규모의 협력 관례를 유도할 수 있는가?
• RQ2 이질적인 내재적 선호가 존재하는 상황에서도 에이전트가 단일작물 상태로 수렴하는 조건은 무엇인가?
• RQ3 그룹 규모, 내재적 선호 강도, 부각도는 관례의 형성과 안정성에 어떤 영향을 미치는가?
• RQ4 에이전트가 협력을 위해 개인적 선호를 기꺼이 포기하더라도, 유도된 관례가 나시 균형 및 파레토 최적인가?

주요 결과

• 에이전트가 단일 라즈베리 색상으로 협력하는 단일작물 상태는 선호 색상에 대한 상대적 보상이 주된 라즈베리 수확 손실을 상쇄할 정도로 충분히 높지 않은 경우 나시 균형으로 나타난다.
• 이론적 분석은 주된 라즈베리 성장률 감소가 선호 색상 소비로 인한 이득을 초월할 경우, 조건이 충족되면 단일작물 상태가 나시 균형임을 확인한다. 이는 조건부 선호 비율(t=2)에서도 성립한다.
• 모집단 내에서 최소한 두 가지의 서로 다른 집단 목적이 존재할 경우, 단일작물 상태는 파레토 최적이다. 왜냐하면 동일한 목표를 공유하는 모든 에이전트의 보상이 향상되는 다른 상태가 존재하지 않기 때문이다.
• 에이전트들은 관례 간을 자주 전환하며, 협력을 유지하기 위해 선호하는 결과를 기꺼이 기꺼이 포기할 수 있으며, 이는 개인적 선호에 대한 강건성을 보여준다.
• 더 큰 그룹 규모와 더 높은 선호 강도는 관례의 안정성을 증가시키며, 부각도는 공통된 관례로의 수렴 속도를 가속화한다.
• 모델리스 접근법은 명시적 계획이나 공통 지식이 없이도 대규모이고 정보가 불완전한 환경에서 깊은 협력 문제를 성공적으로 해결한다.