[논문 리뷰] PLGRIM: Hierarchical Value Learning for Large-scale Exploration in Unknown Environments

Sung-Kyun Kim, Amanda Bouman외 5명|arXiv (Cornell University)|2021. 02. 10.

Bayesian Modeling and Causal Inference인용 수 7

한 줄 요약

PLGRIM은 지역적 위험 인식 커버리지와 전역적 보상 추구 목표를 융합하여 미지의 GPS 장애 환경에서 대규모 자율 탐색을 위한 계층적 믿음 공간 계획 프레임워크를 제안한다. 공간 분할 정보로드맵(IRMs)과 후행 수평 계획을 사용함으로써, 복잡한 지형에서 확장 가능하고 거의 최적의 탐색을 가능하게 하며, 시뮬레이션과 실제 라바 동굴 테스트에서 기준 모델들을 능가한다. 60분 이내에 95% 커버리지 달성.

ABSTRACT

In order for an autonomous robot to efficiently explore an unknown environment, it must account for uncertainty in sensor measurements, hazard assessment, localization, and motion execution. Making decisions for maximal reward in a stochastic setting requires value learning and policy construction over a belief space, i.e., probability distribution over all possible robot-world states. However, belief space planning in a large spatial environment over long temporal horizons suffers from severe computational challenges. Moreover, constructed policies must safely adapt to unexpected changes in the belief at runtime. This work proposes a scalable value learning framework, PLGRIM (Probabilistic Local and Global Reasoning on Information roadMaps), that bridges the gap between (i) local, risk-aware resiliency and (ii) global, reward-seeking mission objectives. Leveraging hierarchical belief space planners with information-rich graph structures, PLGRIM addresses large-scale exploration problems while providing locally near-optimal coverage plans. We validate our proposed framework with high-fidelity dynamic simulations in diverse environments and on physical robots in Martian-analog lava tubes.

연구 동기 및 목표

• 불확실성 하에서 대규모·장기 수평 탐색에 대한 믿음 공간 계획의 계산 비타당성 문제를 해결하기 위해.
• 자율 탐색에서 국소적 위험 인식 복원력과 전역적 보상 추구 목표 간 격차를 메우기 위해.
• 계획 결정을 런타임 믿음 변화와 조율하는 실시간 적응형 정책 실행을 가능하게 하기 위해.
• 동굴 및 지하 구조물과 같은 복잡한 GPS 장애 환경에서 고정밀·장기 수평 커버리지 지원을 위해.
• 프레임워크를 고정밀 시뮬레이션과 화성 유사 환경에서의 물리적 로봇에서 검증하기 위해.

제안 방법

• 믿음 공간을 국소 및 전역 수준으로 계층적으로 분해하고, 계산 복잡도를 관리하기 위해 정보로드맵(IRMs)을 통한 공간 분할을 사용한다.
• 국소 계획은 후행 수평 POMDP 솔버를 사용하여 임무 관련 공간 분할 내에서 거의 최적의 위험 인식 커버리지 경로를 생성한다.
• 전역 계획은 장기 수평 의사결정을 안내하고 전역 완전성을 확보하기 위해 고해상도 세계 믿음 표현을 유지한다.
• 믿음 상태를 공간적·시간적 척도에서 근사화함으로써 장기 시간 수평에 걸친 효율적 정책 탐색을 가능하게 하는 계층적 POMDP 솔버 아키텍처를 제공한다.
• 런타임 적응은 믿음 상태 추정치와 센서 데이터의 업데이트와 정책 결정을 조율하는 후행 수평 계획(RHP) 기반 기법을 통해 달성된다.
• IRM 구조는 환경 지ap 추정치와 이동 가능성 믿음을 인코딩하여 효율적인 믿음 전파 및 행동 선택을 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 계산 타당성을 유지하면서 대규모 공간 범위(>1 km)와 장기 시간 수평(>1시간)에 대해 믿음 공간 계획을 스케일링할 수 있는가?
• RQ2 어떻게 계층적 프레임워크 내에서 국소적 위험 인식 정책과 전역적 보상 추구 목표를 통합할 수 있는가?
• RQ3 어느 정도 계층적 믿음 표현과 후행 수평 계획이 복잡한 미지 환경에서 커버리지 효율성과 강건성을 향상시킬 수 있는가?
• RQ4 실제 런타임의 불확실성과 동적 믿음 업데이트 상황에서 프레임워크는 물리적 로봇 실행 중에 어떻게 성능을 보이는가?
• RQ5 제안된 방법은 대규모·위상적으로 복잡한 환경에서 단기적 프론트리어 기반 및 모델 자유 강화 학습 접근법을 능가할 수 있는가?

주요 결과

• 시뮬레이션된 지하철 환경에서 PLGRIM은 60분 이내에 95% 커버리지 달성했으며, 국소 최소값과 비효율적 회피 경로 문제로 어려움을 겪은 NBV 및 HFE보다 뚜렷이 뛰어난 성능을 보였다.
• 복잡한 미로 및 동굴 시뮬레이션에서 PLGRIM은 위험 지역을 피하고 로봇의 갇힘을 방지함으로써 고정밀 커버리지 비율(90% 이상)을 유지했으며, 결정론적 경로 계획으로 인해 기능을 잃은 NBV와는 대조를 이뤘다.
• HFE는 희소 표현으로 인해 성능이 일관되지 않아 최적의 프론트리어 탐지에 실패하고 좁고 꼬부러진 통로에서 시간 소모가 많은 후진 이동을 반복했다.
• 라바 베드 국립기념지에서 Au-Spot을 대상으로 한 실제 테스트에서 PLGRIM은 60분 이내에 동굴 환경의 95%를 커버하며 자연적 비정형 지형에서의 강건성을 입증했다.
• 프레임워크는 계획 세션과 런타임 믿음 변화를 성공적으로 조율하여 재계획화 실패나 성능 저하 없이 적응형 실행을 가능하게 했다.
• PLGRIM의 계층적 믿음 표현은 효율적인 장기 수평 계획을 가능하게 하여 계산 부담을 감소시키면서도 고정밀 세계 상태 추정을 유지했다.