[논문 리뷰] CTRMs: Learning to Construct Cooperative Timed Roadmaps for Multi-agent Path Planning in Continuous Spaces

Keisuke Okumura, Ryo Yonetani외 2명|arXiv (Cornell University)|2022. 01. 24.

Robotic Path Planning Algorithms인용 수 4

한 줄 요약

이 논문은 연속 공간에서 다중 에이gent 경로 계획을 위한 데이터 기반 방법인 협동 타임드 로드맵(Cooperative Timed Roadmaps, CTRMs)을 제안한다. CTRMs는 에이gent별로 특화된, 충돌을 고려한, 시간이 추가된 로드맵을 학습하여 구성한다. MAPP 시범 예제 데이터셋에 기반해 조건부 변동형 오토인코더를 훈련시킴으로써, 기존 기준 방법에 비해 훨씬 감소된 탐색 노력으로 효율적이고 고성능의 경로 계획을 가능하게 한다.

ABSTRACT

Multi-agent path planning (MAPP) in continuous spaces is a challenging problem with significant practical importance. One promising approach is to first construct graphs approximating the spaces, called roadmaps, and then apply multi-agent pathfinding (MAPF) algorithms to derive a set of conflict-free paths. While conventional studies have utilized roadmap construction methods developed for single-agent planning, it remains largely unexplored how we can construct roadmaps that work effectively for multiple agents. To this end, we propose a novel concept of roadmaps called cooperative timed roadmaps (CTRMs). CTRMs enable each agent to focus on its important locations around potential solution paths in a way that considers the behavior of other agents to avoid inter-agent collisions (i.e., "cooperative"), while being augmented in the time direction to make it easy to derive a "timed" solution path. To construct CTRMs, we developed a machine-learning approach that learns a generative model from a collection of relevant problem instances and plausible solutions and then uses the learned model to sample the vertices of CTRMs for new, previously unseen problem instances. Our empirical evaluation revealed that the use of CTRMs significantly reduced the planning effort with acceptable overheads while maintaining a success rate and solution quality comparable to conventional roadmap construction approaches.

연구 동기 및 목표

• 연속 공간에서 전통적인 로드맵 방법이 다수의 에이gent를 고려하도록 최적화되어 있지 않은 점을 해결하기 위해, 효율적인 다중 에이gent 경로 계획(MAPP)을 수행하는 데 목적이 있다.
• 유의미한 해답 경로를 포괄하는 희소하지만 효과적인 로드맵을 구성하여 MAPF 알고리즘의 탐색 공간을 줄이기 위한 목적이 있다.
• 에이gent 간 협업과 시간 인식 요소를 로드맵 구축에 통합함으로써 계획 효율성과 해답 품질을 향상시키기 위한 목적이 있다.
• 다양한 시나리오, 다양한 에이gent 수와 장애물 구성에 적용 가능한 일반화 가능한 학습 기반 접근법을 개발하는 것이 목적이다.

제안 방법

• MAPP 문제 인스턴스와 그에 해당하는 충돌 없는 해답 경로 데이터셋을 기반으로 조건부 변동형 오토인코더(CVAE)를 훈련시켜, 시간에 따른 에이gent 행동을 모델링한다.
• 훈련된 CVAE는 새로운, 미리보지 않은 문제 인스턴스를 위한 에이gent별 CTRM를 구성하기 위한 공간-시간 정점 샘플러 $F_{\rm CTRM}$로 사용된다.
• CTRMs는 방향성 비순환 그래프이며, 공간적 위치와 시간 단계를 모두 인코딩하여 상호 에이gent 간 충돌 위험을 줄인 타임드 경로 계획을 가능하게 한다.
• 에이gent 간 협업과 샘플링 정확도를 향상시키기 위해 통신 특징 $\mathbf{x}_{\rm comm}$ 과 지표 특징 $\mathbf{x}_{\rm ind}$ 를 통합한다.
• CTRMs 구축 과정에서 다양한 경로 후보를 탐색하면서도 높은 성공률 유지를 위해 무작위 보행 전략을 사용한다.
• 최종적으로 생성된 CTRMs는 표준 MAPF 솔버의 입력으로 사용되어, 충돌 없는 경로를 신속하고 효율적으로 계산할 수 있다.

실험 결과

연구 질문

• RQ1 어떻게 하면 탐색 노력의 감소를 고려하면서도 연속 공간에서 다중 에이gent 경로 계획을 효과적으로 지원할 수 있는 로드맵을 구성할 수 있는가?
• RQ2 다중 에이gent 시스템에서 높은 성공률과 해답 품질을 달성하기 위해 로드맵 구성에서 필수적인 특성들은 무엇인가?
• RQ3 학습된 생성 모델이 랜덤 또는 균일 샘플링에 비해 로드맵 기반 MAPP의 효율성과 효과성을 얼마나 향상시킬 수 있는가?
• RQ4 통신 및 지표 특징은 CTRM 구축 과정에서 학습된 샘플링 모델의 성능에 어떤 영향을 미치는가?
• RQ5 한 번 훈련된 모델이 다양한 에이gent 수와 장애물 배치를 가진 다른 시나리오에 일반화하여 적용 가능한가?

주요 결과

• CTRMs는 $N_{\rm traj} = 25$ 일 때 기본 시나리오에서 80%의 성공률을 기록했으며, 통신 특징이 없는 변형(23%)이나 랜덤 워크를 사용한 경우(3%)에 비해 뚜렷한 성능 향상을 보였다.
• 에이gent당 총비용은 21.2(95% 신뢰구간: 20.3–22.0)였으며, 샘플링 노력 감소를 고려하더라도 기준 방법과 유사하거나 더 우수한 성능을 보였다.
• 확장된 노드 수는 평균 612.4로 기준 방법 대비 크게 감소하여 탐색 공간이 훨씬 작아졌음을 시사한다.
• CTRMs 구축 오버헤드를 포함한 총 계획 시간은 실용적이고 경쟁 가능했으며, CTRM 생성 직후에 해답 생성이 즉시 완료되었다.
• 모델은 일반화 능력을 입증했다: 한 번 훈련된 모델이 다른 시나리오(에이gent 수와 장애물 레이아웃이 다른 경우)에서도 문제를 성공적으로 해결했다.
• 제거 실험(ablation studies) 결과, 통신 특징, 지표 특징, 무작위 보행 전략이 모두 높은 성능을 유지하는 데 필수적이며, 이들의 결여는 성공률과 해답 품질에 심각한 하락을 초래했다.