[논문 리뷰] MAPPER: Multi-Agent Path Planning with Evolutionary Reinforcement Learning in Mixed Dynamic Environments
MAPPER는 장애물의 동질성을 가정하지 않고 혼합된 동적 환경에서 탈중앙화된 진화적 강화학습 기반의 다중 에이전트 경로 계획을 제안한다. 이미지 기반 장애물 표현, 전역 계획을 통한 목표 분해, 진화적 훈련 방식을 통해 복잡하고 대규모의 시나리오에서 높은 성공률(>99%)과 안정적인 성능을 달성한다.
Multi-agent navigation in dynamic environments is of great industrial value when deploying a large scale fleet of robot to real-world applications. This paper proposes a decentralized partially observable multi-agent path planning with evolutionary reinforcement learning (MAPPER) method to learn an effective local planning policy in mixed dynamic environments. Reinforcement learning-based methods usually suffer performance degradation on long-horizon tasks with goal-conditioned sparse rewards, so we decompose the long-range navigation task into many easier sub-tasks under the guidance of a global planner, which increases agents' performance in large environments. Moreover, most existing multi-agent planning approaches assume either perfect information of the surrounding environment or homogeneity of nearby dynamic agents, which may not hold in practice. Our approach models dynamic obstacles' behavior with an image-based representation and trains a policy in mixed dynamic environments without homogeneity assumption. To ensure multi-agent training stability and performance, we propose an evolutionary training approach that can be easily scaled to large and complex environments. Experiments show that MAPPER is able to achieve higher success rates and more stable performance when exposed to a large number of non-cooperative dynamic obstacles compared with traditional reaction-based planner LRA* and the state-of-the-art learning-based method.
연구 동기 및 목표
- 비협력적이고 이질적인 장애물이 존재하는 대규모 혼합 동적 환경에서 탈중앙화된 다중 에이전트 경로 계획 문제를 해결한다.
- 장기적인 시상 보상 태스크에서 강화학습의 한계를 극복하기 위해 장거리 목표를 웨이포인트 조건부 하위 작업으로 분해한다.
- 비협력적 동적 에이전트의 완전한 정보나 동일한 운동 모델에 의존하지 않기 위해, 이미지 기반의 시공간 표현을 통해 장애물 행동을 모델링한다.
- 저성능 정책을 점진적으로 제거하는 진화적 강화학습 프레임워크를 통해 대규모 다중 에이전트 시스템에서의 훈련 안정성과 확장성을 확보한다.
- 복잡하고 실제 세계 유사한 환경에서 전통적인 반응 기반 계획자 및 최신 학습 기반 방법보다 뛰어난 성능을 달성한다.
제안 방법
- 2차원 격자 기반의 상대 위치 및 속도를 사용해 동적 장애물의 이미지 기반 시공간 표현을 구현함으로써, 명시적 운동 모델링 없이 다양한 장애물 행동에 일반화할 수 있다.
- 전역 계획기를 통해 장거리 항법을 여러 웨이포인트 조건부 하위 작업으로 분해하여 강화학습 정책을 안내함으로써 샘플 효율성과 성능을 향상시킨다.
- 전역 계획기를 통합하여 기준 경로와 웨이포인트를 생성하고, 이를 국소 정책의 조건으로 활용하여 먼 목표 향한 진전을 유지하면서 국소 상호작용을 처리한다.
- 정책 집단을 유지하고 성능 평가 및 저성능 정책의 반복적 교체를 통해 훈련 안정성과 수렴성을 향상시키는 진화적 훈련 전략을 구현한다.
- 웨이포인트까지의 거리에 기반한 조밀한 보상과 목표 달성에 대한 희박한 보상으로 구성된 밀도 높은 보상 함수를 사용해 국소 정책을 엔드 투 엔드로 훈련한다.
- 환경 복잡도를 점차 증가시키는 커리큘럼 학습 접근법을 적용: 작은 지도와 소수의 에이전트에서 시작하여 점차 큰 지도와 높은 장애물 밀도로 확장한다.
실험 결과
연구 질문
- RQ1탈중앙화되고 부분관측 가능한 다중 에이전트 강화학습 방법이 비협력적이고 이질적인 동적 장애물이 존재하는 대규모 복잡한 환경에서 높은 성공률을 달성할 수 있는가?
- RQ2장기 시점 항법을 웨이포인트 조건부 하위 작업으로 분해하는 것이 다중 에이전트 경로 계획에서 딥 강화학습의 샘플 효율성과 성능을 크게 향상시키는가?
- RQ3운동 동질성 가정 없이 명시적 운동 추정 없이도 이미지 기반 장애물 표현이 다양한 동적 장애물 행동을 효과적으로 모델링할 수 있는가?
- RQ4제안된 진화적 훈련 프레임워크가 대규모 다중 에이전트 시스템에서 수렴 안정성과 확장성 측면에서 기존 중심화된 훈련 접근법을 능가하는가?
- RQ5MAPPER 방법은 에이전트 수와 동적 장애물 수가 다양하게 변하는 환경에 대해 LRA* 및 PRIMAL*과 비교해 어떻게 일반화되는가?
주요 결과
- MAPPER는 10명의 에이전트와 10개의 동적 장애물이 존재하는 다양한 시뮬레이션 환경에서 성공률가 항상 0.99 이상으로 유지되며, 목표 샘플 범위를 65×65 격자로 확장한 경우에도 동일한 수준의 성능 유지를 보였다.
- 전역 계획기 가이던스가 없는 MAPPER의 변종은 목표 거리가 증가함에 따라 성능이著명하게 저하되었으며, 웨이포인트 조건부 하위 작업 분해의 핵심적 역할을 입증했다.
- 동적 장애물 궤적 표현이 없는 MAPPER 변종은 고밀도 장애물 환경에서 성능이 열악했으며, 복잡한 상호작용을 처리하기 위해 이미지 기반 장애물 모델링의 중요성을 확인했다.
- MAPPER는 훈련 중 보상의 변동성이 가장 낮고 수렴이 가장 안정적이며, 훈련 안정성과 최종 성능 측면에서 PRIMAL* 및 LRA*를 모두 능가했다.
- 고밀도 동적 장애물 환경에서 MAPPER 에이전트는 차단된 경로를 회피하기 위해 능동적으로 재계획을 수행하고 운용하는 반면, LRA*는 전체 에이전트 의도 정보에 의존하고 중심화된 갈등 해소를 사용하기 때문에 실패했다.
- 진화적 훈련 접근법은 대규모 복잡한 환경에서도 안정적이고 확장 가능한 훈련을 가능하게 하며, 4명의 에이전트에서 20명의 에이전트와 30개의 동적 장애물로 확장하는 데서도 성공적인 수렴을 보였다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.