[논문 리뷰] Multi-Agent Reinforcement Learning: Methods, Applications, Visionary Prospects, and Challenges

Ziyuan Zhou, Guanjun Liu외 1명|arXiv (Cornell University)|2023. 05. 17.

Reinforcement Learning in Robotics참고 문헌 245인용 수 10

한 줄 요약

이 설문은 MARL 방법, 응용 및 신뢰할 수 있는 MARL에 대한 비전을 검토하며, 안전성, 강건성, 일반화, 윤리적 제약 및 인간-기계 시스템에서의 인간 상호 작용을 강조합니다.

ABSTRACT

Multi-agent reinforcement learning (MARL) is a widely used Artificial Intelligence (AI) technique. However, current studies and applications need to address its scalability, non-stationarity, and trustworthiness. This paper aims to review methods and applications and point out research trends and visionary prospects for the next decade. First, this paper summarizes the basic methods and application scenarios of MARL. Second, this paper outlines the corresponding research methods and their limitations on safety, robustness, generalization, and ethical constraints that need to be addressed in the practical applications of MARL. In particular, we believe that trustworthy MARL will become a hot research topic in the next decade. In addition, we suggest that considering human interaction is essential for the practical application of MARL in various societies. Therefore, this paper also analyzes the challenges while MARL is applied to human-machine interaction.

연구 동기 및 목표

• 기본 MARL 방법과 일반적인 적용 시나리오를 요약한다.
• 실용적 MARL에서 안전성, 강건성, 일반화 및 윤리적 제약을 개략적으로 설명한다.
• 실세계 시스템에서 MARL의 인간 상호 작용의 중요성을 강조한다.
• 향후 10년간 신뢰할 수 있는 MARL의 도전과 전망을 논의한다.

제안 방법

• 단일 에이전트 RL의 기초 및 주요 방정식(MDP, Q-learning, DQN, 정책 기울기, DPG)을 설명한다.
• 확률적 게임 및 결합 Q/V 함수로의 다중 에이전트 형식을 제시한다.
• VDN, QMIX, QTRAN, QPLEX 및 주의 집중/평균장 기반 접근법을 포함한 CTDE를 통한 학습 협력을 논의한다.
• 강화 학습된 및 미분 가능한 방식의 학신 커뮤니케이션 방법과 토폴로지 학습을 논의한다.
• 대규모 에이전트 인구에 대한 평균장 MARL 및 확장성 전략을 개략한다.
• 사람이 루프에 참여하는 고려사항과 안전성, 강건성, 일반화, 윤리적 제약의 네 가지 신뢰 관련 차원을 다룬다.

Figure 1. The outline of this survey

실험 결과

연구 질문

• RQ1 주요 MARL 방법론적 분류군과 각 학습 패러다임은 무엇인가?
• RQ2 MARL이 적용된 응용 도메인과 어떠한 방법론적 선택이 사용되었는가?
• RQ3 안전성, 강건성, 일반화 및 윤리적 제약에서 MARL의 핵심 한계는 무엇인가?
• RQ4 실용적 인간-기계 시스템을 위해 MARL에 인간 상호 작용을 어떻게 통합할 수 있는가?
• RQ5 다가오는 10년 동안 신뢰할 수 있는 MARL을 정의하는 도전과 비전은 무엇인가?

주요 결과

• 협력적 MARL에서 CTDE(중앙화된 학습, 분산 실행)가 지배적 패러다임이다.
• 가치 기반 방법(VDN, QMIX, QTRAN, QPLEX)과 정책 기반 방법(MADDPG 및 주의 집중 기반 변형)이 MARL에서 credit 할당 및 확장성을 다룬다.
• 학습 커뮤니케이션(강화 학습식 및 미분 가능) 및 그래프 기반/토폴로지 의존 접근법이 다중 에이전트 설정의 조정력을 향상시킨다.
• 평균장 MARL은 평균 효과를 통한 근사 또는 이웃 기반 관측으로 상호 작용을 근사해 대규모 에이전트 인구의 확장성을 제공한다.
• 응용 분야는 스마트 운송, UAV, 지능형 정보 시스템, 제조 및 금융을 포괄하며 MARL의 다재다능성과 인간-루프 고려의 필요성을 보여준다.

Figure 2. Categories of Safety in MARL