[논문 리뷰] From Multi-agent to Multi-robot: A Scalable Training and Evaluation Platform for Multi-robot Reinforcement Learning

Zhiuxan Liang, Jiannong Cao외 4명|arXiv (Cornell University)|2022. 06. 20.

Traffic control and management인용 수 5

한 줄 요약

이 논문은 현실적인 시뮬레이션 환경과 실제 다중로봇 테스트베드를 통합한 확장 가능한 다중로봇 강화학습(MRRL) 플랫폼인 SMART를 제안한다. 이 플랫폼은 MRRL 우호적인 API를 통해 훈련을 가능하게 하고, 시뮬레이션 및 물리적 환경에서 정책을 평가하여, 차선 통합과 같은 협동 작업에서의 핵심적인 시뮬레이션-현실 격차를 드러낸다.

ABSTRACT

Multi-agent reinforcement learning (MARL) has been gaining extensive attention from academia and industries in the past few decades. One of the fundamental problems in MARL is how to evaluate different approaches comprehensively. Most existing MARL methods are evaluated in either video games or simplistic simulated scenarios. It remains unknown how these methods perform in real-world scenarios, especially multi-robot systems. This paper introduces a scalable emulation platform for multi-robot reinforcement learning (MRRL) called SMART to meet this need. Precisely, SMART consists of two components: 1) a simulation environment that provides a variety of complex interaction scenarios for training and 2) a real-world multi-robot system for realistic performance evaluation. Besides, SMART offers agent-environment APIs that are plug-and-play for algorithm implementation. To illustrate the practicality of our platform, we conduct a case study on the cooperative driving lane change scenario. Building off the case study, we summarize several unique challenges of MRRL, which are rarely considered previously. Finally, we open-source the simulation environments, associated benchmark tasks, and state-of-the-art baselines to encourage and empower MRRL research.

연구 동기 및 목표

• 실제 시나리오에서 다중로봇 강화학습(MRRL)에 대한 종합적인 평가 프레임워크의 부족을 해결한다.
• 시뮬레이션 기반 훈련과 실제 세계 구현 간 격차를 해소하기 위해 시뮬레이션과 물리적 테스트베드를 갖춘 이중 플랫폼 시스템을 제공한다.
• 표준화된 에이전트-환경 API를 통해 MARL 알고리즘의 즉시 통합을 가능하게 한다.
• 협동 주행 사례 연구를 통해 딥 강화학습을 실제 다중로봇 시스템에 적용할 때 발생하는 실용적 과제를 분석한다.
• MRRL 연구를 가속화하기 위해 시뮬레이션 환경, 벤치마크 작업, 최신 기준 성능을 개방형으로 제공한다.

제안 방법

• 자율 주행 및 협동 차선 변경과 같은 다양한 복잡한 다중로봇 상호작용 시나리오를 포함한 시뮬레이션 환경을 설계한다.
• 시뮬레이션 시나리오를 반영한 실제 다중로봇 시스템을 구현하여 현실적인 성능 평가를 가능하게 한다.
• MARL 알고리즘의 즉시 통합을 지원하기 위해 에이전트-환경 API를 개발하여 일반 강화학습 프레임워크와의 호환성을 확보한다.
• Gazebo와 ROS와 같은 도구를 활용해 물리 기반 시뮬레이션을 통합하여 현실적인 역학 및 센서 모델링을 보장한다.
• 최신 기술(MADDPG, MAPPO 등)을 다중로봇 시나리오에 확장하고, 시뮬레이션 및 실제 환경에서 평가한다.
• 협동 주행 차선 변경 시나리오를 사례 연구로 활용하여 시뮬레이션과 현실 간 성능 차이를 분석한다.

실험 결과

연구 질문

• RQ1 시뮬레이션에서 훈련된 MARL 알고리즘이 실제 다중로봇 시스템에 구현되었을 때 성능는 어떠한가?
• RQ2 표준 시뮬레이션 환경에서 포착되지 않는 실제 세계의 다중로봇 시스템에 딥 강화학습을 적용할 때의 주요 과제는 무엇인가?
• RQ3 시뮬레이션 환경의 현실성 수준이 훈련된 정책이 실제 로봇으로의 이행 가능성에 얼마나 영향을 미치는가?
• RQ4 통합 플랫폼은 어떻게 다수의 MRRL 알고리즘에 대해 확장 가능한 훈련과 신뢰할 수 있는 실제 세계 평가를 지원할 수 있는가?
• RQ5 확장 가능하고 유연하며 실용적인 MRRL 플랫폼을 구축하기 위해 중요한 시스템 수준의 설계 선택은 무엇인가?

주요 결과

• SMART 플랫폼은 현실적인 시뮬레이션 환경에서 MRRL 정책을 훈련시키고 실제 다중로봇 테스트베드에서 평가하는 데 성공했다.
• 시뮬레이션 환경과 실제 환경 간에 심각한 성능 격차가 존재하며, 특히 인식, 동작 실행 및 환경 역학에서 두드러진다.
• 실제 구현 과정에서 센서 노이즈, 액추에이터 지연, 불완전한 상태 추정과 같은 과제가 드러났으며, 이는 일반적으로 시뮬레이션에서 단순화된다.
• 사례 연구를 통해 시뮬레이션에서 훈련된 정책는 실제 협동 차선 변경에서 안정적인 성능을 내기 위해 정밀 조정이 필요하다는 것이 확인되었다.
• 플랫폼의 모듈러 설계와 표준화된 API는 다양한 최신 MARL 알고리즘의 원활한 통합 및 평가를 가능하게 하였다.
• 저자들은 시뮬레이션 환경, 벤치마크, 기준 성능를 개방함으로써 MRRL 연구의 진입 장벽을 크게 낮춘다는 것을 확인했다.