[논문 리뷰] Obstacle-aware Waypoint Generation for Long-range Guidance of Deep-Reinforcement-Learning-based Navigation Approaches

Linh Kästner, Xinlin Zhao외 2명|arXiv (Cornell University)|2021. 09. 23.

Robotic Path Planning Algorithms참고 문헌 24인용 수 4

한 줄 요약

이 논문은 장기적이고 동적인 환경에서 DRL 기반 국소 계획자들을 안내하기 위해 시간 기반 델로이누이 삼각분할을 통한 장애물 인식 웨이포인트 생성과 상태-시간 공간에서의 확장된 하이브리드 A*-검색을 활용하는 계층적 내비게이션 시스템을 제안한다. 이 방법은 0.3–0.5 m/s의 장애물 속도에서 100% 성공률을 기록하고 충돌률을 크게 낮추며(11–10건), 안정성, 내구성, 효율성 면에서 베이스라인 하위목표 방법들을 능가한다.

ABSTRACT

Navigation of mobile robots within crowded environments is an essential task in various use cases, such as delivery, health care, or logistics. Deep Reinforcement Learning (DRL) emerged as an alternative method to replace overly conservative approaches and promises more efficient and flexible navigation. However, Deep Reinforcement Learning is limited to local navigation due to its myopic nature. Previous research works proposed various ways to combine Deep Reinforcement Learning with conventional methods but a common problem is the complexity of highly dynamic environments due to the unpredictability of humans and other objects within the environment. In this paper, we propose a hierarchical waypoint generator, which considers moving obstacles and thus generates safer and more robust waypoints for Deep-Reinforcement-Learning-based local planners. Therefore, we utilize Delaunay Triangulation to encode obstacles and incorporate an extended hybrid A-Star approach to efficiently search for an optimal solution in the time-state space. We compared our waypoint generator against two baseline approaches and outperform them in terms of safety, efficiency, and robustness.

연구 동기 및 목표

• 장기 내비게이션에서 DRL 기반 국소 계획자의 시야 제한성 문제를 해결하기 위해 강력하고 동적인 글로벌 가이던스를 제공한다.
• 빠르게 유효성이 상실되는 정적 글로벌 경로가 존재하는 고도로 동적인 환경에서의 안전성과 효율성을 향상시킨다.
• 빈번한 글로벌 재계획이 필요한 의존도를 줄이기 위해 시간이 지남에 따라 유효성을 유지하는 장애물 기반의 적응형 하위목표를 생성한다.
• 모델 기반 계획과 DRL 국소 계획을 계층적 프레임워크를 통해 통합하여 글로벌 인지력과 국소 적응력을 균형 있게 유지한다.
• 성공률, 충돌 횟수, 계산 효율성 측면에서 제안된 웨이포인트 생성기와 기존 방법을 비교 평가한다.

제안 방법

• 시간 기반 델로이누이 삼각분할을 사용해 상태-시간 공간에 동적 장애물을 효율적으로 표현한다.
• 확장된 하이브리드 A*-검색 알고리즘을 적용하여 동적 장애물의 위치와 속도를 고려한 상태-시간 공간에서 근사 최적 경로를 계산한다.
• ESDF를 사용하지 않는 기울기 기반 경로 최적화(EGO)를 적용해 초도 경로를 정밀하게 보정하여 부드럽고 충돌 없는 운동을 보장한다.
• DRL 국소 계획자에게 장거리 내비게이션을 안내하기 위해 최적화된 경로에서 유도된 희소 랜드마크 웨이포인트를 하위목표로 생성한다.
• 중위 계획자와 DRL 기반 국소 계획자를 통합하여, 웨이포인트를 단기 목표로 삼아 DRL의 시야 제한성을 완화한다.
• 랜드마크 기반 웨이포인트 선택 전략을 사용해 글로벌 재계획의 계산 비용을 줄여 대규모 환경에서의 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 장애물 인식 웨이포인트 생성이 고도로 동적인 환경에서 DRL 기반 내비게이션의 안전성과 내구성 향상에 기여하는가?
• RQ2 상태-시간 공간에서 동적 장애물을 고려할 경우 장기 내비게이션의 성공률와 충돌률에 어떤 영향을 미치는가?
• RQ3 기존 방법 대비 빈번한 글로벌 재계획에 대한 의존도가 얼마나 감소하는가?
• RQ4 효율성과 내구성 측면에서 제안된 웨이포인트 생성기의 성능이 정적 및 서브샘플링 웨이포인트 방법과 비교해 어떻게 다른가?
• RQ5 모델 기반 글로벌 가이던스와 DRL 국소 계획의 통합이 복잡하고 동적인 시나리오에서 더 높은 성공률을 달성할 수 있는가?

주요 결과

• 제안된 ST-WP 방법은 20개의 장애물과 0.3 m/s 및 0.5 m/s의 속도에서 100% 성공률를 기록했으며, SH-WP(60% 이상)와 SUB-WP(35% 이상)를 크게 능가했다.
• 0.5 m/s의 장애물 속도에서 SH-WP와 SUB-WP의 성공률는 각각 50% 이상, 10% 이상으로 떨어졌지만, ST-WP는 100% 성공률를 유지했다.
• ST-WP 방법은 0.3 m/s에서는 11건의 충돌, 0.5 m/s에서는 10건 미만의 충돌을 기록했으며, 기존 방법들은 각각 25건 이상의 충돌을 기록했다.
• ST-WP 방법은 기존 방법들보다 略적으로 더 효율적이었으며, SUB-WP 방법은 모든 하위목표를 중복으로 횡단함으로써 가장 효율성이 떨어졌다.
• ST-WP 방법은 고속 장애물에서도 안정적이고 직접적인 경로를 유지했지만, SH-WP와 SUB-WP는 특히 좌표점 11,11 근처에서 비효율적인 경로를 생성했다.
• 상태-시간 공간에서의 동적 장애물 모델링 덕분에, 높은 장애물 예측 불확실성에도 경로의 유효성과 안전성을 유지할 수 있었다.