[논문 리뷰] Intention-Aware Navigation in Crowds with Extended-Space POMDP Planning

Himanshu Gupta, Bradley Hayes외 1명|arXiv (Cornell University)|2022. 06. 20.

Evacuation and Crowd Dynamics인용 수 6

한 줄 요약

이 논문은 다수의 보행자로 이루어진 환경에서 실시간으로 안전하고 효율적인 자율 주행을 위해 속도와 방향을 동시에 제어할 수 있도록 확장된 상태공간을 갖춘 부분 관측 마르코프 결정 과정(POMDP) 플래너를 제안한다. 이 플래너는 다중 쿼리 운동 계획 기법(예: PRM, Fast Marching)을 롤아웃 정책으로 사용하여 더 넓은 상태공간을 효율적으로 탐색한다. 제안된 방법은 이전의 접근 방식에 비해 특히 장기간의 계획 수평과 고밀도 보행자 환경에서 훨씬 더 안전하고 효율적인 경로를 달성한다.

ABSTRACT

This paper presents a hybrid online Partially Observable Markov Decision Process (POMDP) planning system that addresses the problem of autonomous navigation in the presence of multi-modal uncertainty introduced by other agents in the environment. As a particular example, we consider the problem of autonomous navigation in dense crowds of pedestrians and among obstacles. Popular approaches to this problem first generate a path using a complete planner (e.g., Hybrid A*) with ad-hoc assumptions about uncertainty, then use online tree-based POMDP solvers to reason about uncertainty with control over a limited aspect of the problem (i.e. speed along the path). We present a more capable and responsive real-time approach enabling the POMDP planner to control more degrees of freedom (e.g., both speed AND heading) to achieve more flexible and efficient solutions. This modification greatly extends the region of the state space that the POMDP planner must reason over, significantly increasing the importance of finding effective roll-out policies within the limited computational budget that real time control affords. Our key insight is to use multi-query motion planning techniques (e.g., Probabilistic Roadmaps or Fast Marching Method) as priors for rapidly generating efficient roll-out policies for every state that the POMDP planning tree might reach during its limited horizon search. Our proposed approach generates trajectories that are safe and significantly more efficient than the previous approach, even in densely crowded dynamic environments with long planning horizons.

연구 동기 및 목표

• 기존의 POMDP 기반 주행 시스템이 사전에 계산된 경로를 따라 속도 제어에만 국한되어 있다는 한계를 해결하기 위해.
• 다이나믹하고 불확실한 환경(예: 고밀도 보행자 집단)에서 실시간으로 의도 인식 주행을 가능하게 하기 위해.
• POMDP의 행동 공간을 속도뿐 아니라 방향까지 포함하도록 확장하여 계획의 유연성과 해법의 품질을 향상시키기 위해.
• 엄격한 계산 자원 제약 조건 하에서 확장된 상태 및 행동 공간에 대해 효율적인 롤아웃 정책을 개발하기 위해.
• 홀로노믹 및 비홀로노믹 차량을 포함한 복잡한 고밀도 시나리오에서 제안된 방법을 평가하기 위해.

제안 방법

• 시스템은 확장된 행동 공간을 갖춘 온라인 POMDP 플래너를 사용하여 고정된 경로를 따라 속도만 제어하는 것이 아니라 속도와 방향을 동시에 제어할 수 있도록 한다.
• 희소 트리 기반 POMDP 해법기(예: DESPOT)를 활용하여 가치 추정치를 기반으로 한 온라인 트리 탐색을 수행한다.
• 다중 쿼리 운동 계획 기법인 확률적 도로망(PRMs)과 패스트 마치잉 방법(Fast Marching Method)을 사용하여 계획 트리의 각 상태에 대해 효과적이고 효율적인 롤아웃 정책을 생성한다.
• 롤아웃 정책는 환경 전체에 대해 사전에 계산되어, 제한된 수평의 트리 탐색 중 미래 보상을 추정하는 데 사용되며, 이로 인해 훨씬 더 넓은 도달 가능한 상태공간 탐색이 가능해진다.
• 플래너는 보행자의 행동을 부분 관측 가능하고 다중 모드적이라고 간주하는 의도 인식 모델링을 통합하여 예측 정확도를 향상시킨다.
• 비홀로노믹 차량(예: 두빈의 자동차)의 경우, 패스트 마치잉 스퀘어 방법으로 생성된 경로를 기반으로 반응형 제어기를 적용하여 장애물을 피하는 데 적응한다.

실험 결과

연구 질문

• RQ1 POMDP 행동 공간을 속도와 방향 모두로 확장하면 고밀도 환경에서 주행의 효율성과 안정성 향상에 기여할 수 있는가?
• RQ2 다중 쿼리 운동 계획 기법(예: PRM, 패스트 마치잉)이 실시간 POMDP 계획에서 넓은 확장된 상태공간을 효율적으로 탐색하는 데 얼마나 효과적인가?
• RQ3 제안된 방법은 헤딩 제어와 속도 제어를 분리하는 기준선 방법에 비해 고밀도 보행자 환경에서 성능이 뛰어나게 되는가?
• RQ4 확장된 상태공간 POMDP 플래너의 성능은 보행자 밀도와 계획 수평이 증가함에 따라 어떻게 변화하는가?
• RQ5 운동 계획 기법의 선택(PRM 대비 패스트 마치잉)이 최종 경로 품질과 계산 효율성에 얼마나 큰 영향을 미치는가?

주요 결과

• 모든 보행자 밀도에서 기준선 LS 플래너에 비해 확장된 상태공간 POMDP 플래너(ES)가 훨씬 낮은 이동 시간을 기록했으며, 특히 높은 속도(예: 4 m/s)에서 95%의 성공률로 기준선을 능가했다.
• 고밀도 환경에서 ES 플래너는 LS 플래너 대비 정지-대기(SB) 동작 횟수를 36% 감소시켰으며, 이는 36개의 방향 선택 대비 8개의 선택으로 인한 더 높은 유연성 덕분이었다.
• 복잡한 보행자 역학을 포함한 장기간 수평 시나리오에서도 ES 플래너는 LS 플래너보다 더 안전하고 효율적인 경로를 생성했다.
• 롤아웃 정책의 선택(PRM 대비 패스트 마치잉)이 성능에 미치는 영향은 미미했으며, 이는 기반 운동 계획 기법에 대해 강건함을 시사한다.
• 비홀로노믹 차량의 경우, ES 플래너는 더 적은 방향 선택(19 대비 36)에도 불구하고 속도와 방향을 통합 제어함으로써 이동 시간과 SB 동작 횟수를 모두 감소시켰다.
• 결과적으로, 다중 쿼리 운동 계획에서 유도된 효과적인 롤아웃 정책는 고차원 행동 공간에서 확장 가능하고 실시간 POMDP 계획을 가능하게 하는 데 핵심적임을 입증했다.