[논문 리뷰] A Review of Cooperation in Multi-agent Learning

Yali Du, Joel Z. Leibo외 3명|arXiv (Cornell University)|2023. 12. 08.

Evolutionary Game Theory and Cooperation인용 수 15

한 줄 요약

본 고찰은 협력적 다에이전트 학습(MAL)의 기본 개념, 문제 설정, 알고리즘에 대해 팀 기반 및 혼합 동기 설정, 도전 과제, 벤치마크, 그리고 향후 연구 질문을 포괄적으로 다룬다.

ABSTRACT

Cooperation in multi-agent learning (MAL) is a topic at the intersection of numerous disciplines, including game theory, economics, social sciences, and evolutionary biology. Research in this area aims to understand both how agents can coordinate effectively when goals are aligned and how they may cooperate in settings where gains from working together are possible but possibilities for conflict abound. In this paper we provide an overview of the fundamental concepts, problem settings and algorithms of multi-agent learning. This encompasses reinforcement learning, multi-agent sequential decision-making, challenges associated with multi-agent cooperation, and a comprehensive review of recent progress, along with an evaluation of relevant metrics. Finally we discuss open challenges in the field with the aim of inspiring new avenues for research.

연구 동기 및 목표

• 다학제 간 MAL 및 협력의 기본 개념을 합성한다.
• 팀 기반 MAL과 혼합 동기 MAL을 구분하고 그 고유한 도전을 파악한다.
• 협력 MAL을 연구하는 데 사용되는 알고리즘, 벤치마크, 평가 지표를 조사한다.
• 협력 AI의 향후 연구를 자극하기 위한 열린 과제와 방향성을 식별한다.

제안 방법

• 단일 에이전트 RL의 기초를 정의하고 다에이전트 마코프 게임과 POMG로 확장한다.
• MDP/Markov games의 형식적 정의로 협력적, 경쟁적, 혼합 동기 설정으로 MAL을 분류한다.
• 팀 기반 협력을 위한 대표적 알고리즘의 학습 패러다임(가치 기반, 정책 기반, CTDE)을 검토한다.
• 혼합 동기 MAL에서의 크레딧 배분, 새로운 파트너에 대한 일반화, 사회적 딜레마를 논의한다.
• MAL 협력 연구에 사용되는 벤치마크, 지표, 평가 접근법을 요약한다.

Figure 1: A taxonomy of multi-agent systems (Schelling, 1960 ) .

실험 결과

연구 질문

• RQ1 MAL에서 협력을 연구하는 데 사용되는 기본 개념 및 프레임워크는 무엇인가?
• RQ2 팀 기반 MAL과 혼합 동기 MAL은 목표, 인센티브, 알고리즘적 접근에서 어떻게 다른가?
• RQ3 협력을 저해하는 주요 도전(크레딧 배분, 비정정성, 일반화)은 무엇이며 이를 어떻게 해결하는가?
• RQ4 다양한 보상 구조 하에서 협력 MARL에 가장 효과적인 알고리즘 및 학습 패러다임은 무엇인가?
• RQ5 MAL에서 협력 행동과 사회적 복지를 가장 잘 포착하는 벤치마크와 지표는 무엇인가?

주요 결과

• MAL의 협력은 팀 기반(공유 보상) 및 혼합 동기(개별 보상, 사회적 딜레마) 프레임워크 하에서 분석된다.
• 에이전트 수가 증가하고 정책이 공동 적응함에 따라 비정정성 및 확장성이 핵심 도전으로 남는다.
• 팀 설정에서 개별 기여를 배분하고 구분하는 것은 특히 희박/지연 보상에서 어렵다.
• CTDE, 정책/가치 기반 방법, 반실증적 기준선은 확장 가능한 협력 학습을 가능하게 하는 두드러진 접근법이다.
• 새로운 파트너에 대한 일반화(ad hoc teamwork) 및 악용에 대한 강건성은 혼합 동기 MAL의 활발한 연구 영역이다.

Figure 2: For a population of size $n$ , the Schelling diagram shows the payoff for an $n+1$ agent choosing to either defect or cooperate. The dotted line shows the average reward of the population.