[논문 리뷰] SCRIMP: Scalable Communication for Reinforcement- and Imitation-Learning-Based Multi-Agent Pathfinding

Yutong Wang, Bairan Xiang외 2명|arXiv (Cornell University)|2023. 03. 01.

Robotic Path Planning Algorithms인용 수 4

한 줄 요약

SCRIMP는 다중 에이전트 경로 찾기(MAPF)를 위한 확장성 있고 통신을 강화한 강화학습 및 이민학습 프레임워크를 제안한다. 이 프레임워크는 에이전트가 오직 3×3 시야 범위만으로도 충돌 없는 경로를 학습할 수 있도록 한다. 수정된 트랜스포머 기반의 글로벌 통신 메커니즘, 확률적 패배 방지 전략, 그리고 내재 보상 기반의 접근을 통해 SCRIMP는 중심 집중식 계획자와 유사한 성능을 달성하면서도 대규모 팀에서 높은 확장성을 유지한다.

ABSTRACT

Trading off performance guarantees in favor of scalability, the Multi-Agent Path Finding (MAPF) community has recently started to embrace Multi-Agent Reinforcement Learning (MARL), where agents learn to collaboratively generate individual, collision-free (but often suboptimal) paths. Scalability is usually achieved by assuming a local field of view (FOV) around the agents, helping scale to arbitrary world sizes. However, this assumption significantly limits the amount of information available to the agents, making it difficult for them to enact the type of joint maneuvers needed in denser MAPF tasks. In this paper, we propose SCRIMP, where agents learn individual policies from even very small (down to 3x3) FOVs, by relying on a highly-scalable global/local communication mechanism based on a modified transformer. We further equip agents with a state-value-based tie-breaking strategy to further improve performance in symmetric situations, and introduce intrinsic rewards to encourage exploration while mitigating the long-term credit assignment problem. Empirical evaluations on a set of experiments indicate that SCRIMP can achieve higher performance with improved scalability compared to other state-of-the-art learning-based MAPF planners with larger FOVs, and even yields similar performance as a classical centralized planner in many cases. Ablation studies further validate the effectiveness of our proposed techniques. Finally, we show that our trained model can be directly implemented on real robots for online MAPF through high-fidelity simulations in gazebo.

연구 동기 및 목표

• 복잡한 공동 운동을 요구하는 상황에서 성능과 확장성에 한계를 가진 분산형, 국소 관측 기반 MAPF 계획자 문제를 해결하기 위해.
• 에이전트가 최소한의 국소 관측(3×3 시야)으로도 확장성 있고 동적 통신을 통해 높은 성공률을 달성할 수 있도록 하기 위해.
• 희박 보상 환경에서 장기적 보상 할당 문제를 완화하고 탐색 성능을 향상시키기 위해.
• 의사소통 문제를 피하면서도 효과적인 팀 협업을 가능하게 하는 통신 메커니즘을 설계하기 위해.
• 고정밀 로봇 시뮬레이션을 통해 훈련된 정책의 실세계 적용 가능성을 검증하기 위해.

제안 방법

• 에이전트 간 메시지를 동적으로 융합할 수 있도록 수정된 트랜스포머 인코더를 도입하여 팀 전반에 걸쳐 확장성 있고 선택적인 정보 공유를 가능하게 한다.
• 학습된 장기적 팀 가치 기반의 상태값 기반 확률적 패배 방지 전략을 활용하여 정점 및 교환 충돌을 해결하고, 에이전트 간 우선순위를 정한다.
• 에피소드 버퍼를 사용한 내재 보상 메커니즘을 통합하여 탐색을 장려하고 목표 도달 확률을 향상시킨다.
• 훈련 안정성과 샘플 효율성을 향상시키기 위해 딥 강화학습과 이민학습을 융합한 하이브리드 접근 방식을 적용한다.
• 에이전트 간 국소 관측과 글로벌 통신만을 사용하는 완전히 분산된 추론 설정을 도입하여 실시간 온라인 계획을 가능하게 한다.
• 에이전트 간 통신이 없는 경우 자기 메시지 메커니즘을 활용하여 통신 모듈의 기여도를 분리 분석한다.

실험 결과

연구 질문

• RQ1 수정된 트랜스포머 기반의 고도로 확장 가능한, 미분 가능한 통신 메커니즘이 국소 관측이 최소한인 분산형 MAPF에서 성능 향상에 기여하는가?
• RQ2 학습된 상태값 기반의 확률적 패배 방지 전략이 대칭적 MAPF 상황에서 무작위 또는 고정 우선순위 충돌 해결 방식보다 우수한가?
• RQ3 에피소드 기반 탐색에 기반한 내재 보상은 희박 보상 환경에서 학습 효율성과 성공률 향상에 어느 정도 기여하는가?
• RQ4 SCRIMP의 성능는 다양한 팀 규모와 작업 복잡도에서 최신 학습 기반 및 고전적 중심 집중식 계획자들과 비교해 어떻게 나타나는가?
• RQ5 랜덤하고 비정형적인 환경에서 훈련된 정책이 재학습 없이도 정형적이고 고정밀 시뮬레이션에서 실제 로봇에 직접 배포 가능한가?

주요 결과

• SCRIMP는 복잡한 공동 운동이 필요한 대부분의 작업에서 고전적 중심 집중식 계획자인 ODrM*와 유사한 성공률를 달성한다.
• 고밀도 에이전트와 복잡한 레이아웃을 가진 도전적인 작업에서는, 더 넓은 시야를 가진 최신 학습 기반 계획자들조차도 SCRIMP가 뛰어난 성능을 보인다.
• 제거 실험(ablation study) 결과 통신 모듈를 제거한 SCRIMP-without-com는 가장 낮은 성공률를 기록하여 복잡한 작업에서 통신 모듈의 핵심적 역할을 확인한다.
• 확률적 패배 방지 전략은 대칭적 충돌 상황에서 무작위 또는 고정 우선순위 전략보다 뚜렷한 성능 향상을 이끌어내며, 특히 그러한 상황에서 유의미한 개선 효과가 있다.
• 내재 보상 메커니즘은 탐색을 증진시키고 장기적 보상 할당 문제를 완화시켜, 외재 보상만을 사용하는 기준 모델 대비 복잡한 작업에서 더 높은 성공률를 달성한다.
• 훈련된 SCRIMP 정책은 재학습 없이도 Gazebo에서 16台의 실제 로봇에 성공적으로 배포되어 고정밀 시뮬레이션 환경에서 실시간 온라인 충돌 없는 경로 계획을 수행함을 입증했다.