[논문 리뷰] Model-based Multi-agent Reinforcement Learning: Recent Progress and Prospects

Xihuai Wang, Zhicheng Zhang외 1명|arXiv (Cornell University)|2022. 03. 20.

Software Engineering Research인용 수 11

한 줄 요약

이 논문은 모델 기반 다중 에이전트 강화 학습(MARL)을 검토하며, 환경 및 상대방 모델을 활용하면 샘플 효율성을 높이고 비정상성, 협업 문제와 같은 핵심 MARL 과제를 해결할 수 있다고 제안한다. 알고리즘을 학습 체계, 상대방 인식, 모델 사용 방식으로 분류하여, 모델 기반 방법이 다중 에이전트 복잡성을 완화할 수 있는 방법과 동시에 확장성 및 모델 정확도 문제와 같은 열린 과제를 밝혀낸다.

ABSTRACT

Significant advances have recently been achieved in Multi-Agent Reinforcement Learning (MARL) which tackles sequential decision-making problems involving multiple participants. However, MARL requires a tremendous number of samples for effective training. On the other hand, model-based methods have been shown to achieve provable advantages of sample efficiency. However, the attempts of model-based methods to MARL have just started very recently. This paper presents a review of the existing research on model-based MARL, including theoretical analyses, algorithms, and applications, and analyzes the advantages and potential of model-based MARL. Specifically, we provide a detailed taxonomy of the algorithms and point out the pros and cons for each algorithm according to the challenges inherent to multi-agent scenarios. We also outline promising directions for future development of this field.

연구 동기 및 목표

• 비정상성, 부분 관측 가능성, 협업 문제로 인해 발생하는 다중 에이전트 강화 학습(MARL)의 본질적 샘플 비효율성을 해결하기 위해.
• 환경 동역학 및 보상 함수를 학습함으로써 모델 기반 MARL이 샘플 효율성을 어떻게 향상시킬 수 있는지 분석하기 위해.
• 학습 체계, 상대방 인식, 환경 모델 사용 방식의 세 가지 차원에 따라 기존의 모델 기반 MARL 알고리즘을 체계적으로 분류하기 위해.
• 모델 기반 방법이 비정상성 및 책임 할당과 같은 핵심 MARL 과제를 얼마나 해결하거나 악화시키는지 분석하기 위해.
• 향후 연구 방향으로서 확장 가능한 중심 집합 학습, 상대방 모델링을 통한 탈중앙화 MARL, 모델 기반 통신 프로토콜을 식별하고 개략적으로 제시하기 위해.

제안 방법

• 중앙집중형 대비 탈중앙집중형 학습 체계에 따라 모델 기반 MARL 알고리즘을 분류하기 위해.
• 탈중앙집중형 환경에서 학습 안정성 향상과 협업 개선을 위해 다른 에이전트의 행동을 예측하는 데 핵심 기법으로 상대방 모델링을 도입하기 위해.
• 계획 기반 방법(예: 모델 예측 제어(MPC) 및 다이나 스타일 학습)에서 환경 모델(동역학 및 보상 함수)을 사용해 시뮬레이션을 수행하기 위해.
• 모델 기반 계획을 통해 미래 궤적을 시뮬레이션하고 실제 환경 상호작용 횟수를 줄여 정책 업데이트를 개선하기 위해.
• 현재 행동이 아닌 장기 예측을 전송하는 통신 프로토콜을 통합하여 공감 형성 능력을 향상시키기 위해.
• 가치 함수 근사와 결합한 모델 기반 계획을 활용하여 실시간 상호작용 의존도를 낮추고 샘플 효율성을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 모델 기반 MARL은 모델리스 접근 방식에 비해 다중 에이전트 환경에서 샘플 복잡성을 얼마나 줄일 수 있는가?
• RQ2 중앙집중형 대비 탈중앙집중형 학습 체계는 모델 기반 MARL의 성능과 확장성에 어떤 영향을 미치는가?
• RQ3 탈중앙집중형 모델 기반 MARL에서의 상대방 모델링이 비정상성과 협업 문제를 효과적으로 완화할 수 있는가?
• RQ4 장기 예측 기반 모델 예측을 통한 통신이 다중 에이전트 협업 및 공감 형성에 어떤 역할을 하는가?
• RQ5 모델 정확도, 모델-가치 함수 불일치, 확장성 문제 등이 복잡한 다중 에이전트 시스템에서 모델 기반 MARL의 도입을 저해하는 주요 과제는 무엇인가?

주요 결과

• 모델 기반 MARL은 실제 환경 상호작용 횟수를 줄임으로써 샘플 효율성을 향상시킬 잠재력을 보여준다.
• 중앙집중형 학습에서 모델 기반 계획을 통해 동적 프로그래밍 및 몬테카를로 트리 탐색을 효과적으로 활용할 수 있으나, 고차원의 공동 상태 및 행동 공간으로 인해 확장성 문제가 여전히 심각한 과제로 남아 있다.
• 탈중앙집중형 환경에서 상대방 모델링은 에이전트가 다른 이의 행동을 예측함으로써 비정상성을 완화하고 안정성 및 협업 능력을 향상시킨다.
• 환경 모델에서 예측한 미래 궤적을 통신 프로토콜에 통합하면 현재 단계의 의도를 기반으로 한 것보다 더 빠른 공감 형성과 더 효과적인 협업을 이끌 수 있다.
• 모델 정확도 부족과 학습된 모델 및 가치 함수 간의 불일치는 부분 관측 가능하고 협업 중심의 다중 에이전트 설정에서 여전히 심각한 열린 과제로 남아 있다.
• 모델 기반 MARL의 확장성은 계산 복잡도로 인해 제한되며, 특히 공동 변수 차원이 에이전트 수에 따라 지수적으로 증가하는 중앙집중형 학습에서 더욱 심각한 문제로 나타난다.