[논문 리뷰] Towards navigation without precise localization: Weakly supervised learning of goal-directed navigation cost map

Huifang Ma, Yue Wang외 3명|arXiv (Cornell University)|2019. 06. 06.

Robotics and Sensor-Based Localization참고 문헌 25인용 수 10

한 줄 요약

이 논문은 정밀한 기하학적 국소화 없이도 원시 시각 입력, GPS 수준의 국소화 및 주행 지시사항을 사용하여 목표 지향적인 주행 비용 지도를 생성하는 약한 감독 기반 주행 프레임워크를 제안한다. 결정론적 조건부 adversarial 네트워크를 활용해 다양한 의미론적 기반 경로를 학습함으로써, 국소화 오차에 대해 강건한 성능을 달성하고 인간 주행 궤적과의 검증을 통해 학습된 비용 지도를 통한 효과적인 운동 계획을 가능하게 한다.

ABSTRACT

Autonomous navigation based on precise localization has been widely developed in both academic research and practical applications. The high demand for localization accuracy has been essential for safe robot planing and navigation while it makes the current geometric solutions less robust to environmental changes. Recent research on end-to-end methods handle raw sensory data with forms of navigation instructions and directly output the command for robot control. However, the lack of intermediate semantics makes the system more rigid and unstable for practical use. To explore these issues, this paper proposes an innovate navigation framework based on the GPS-level localization, which takes the raw perception data with publicly accessible navigation maps to produce an intermediate navigation cost map that allows subsequent flexible motion planning. A deterministic conditional adversarial network is adopted in our method to generate visual goal-directed paths under diverse navigation conditions. The adversarial loss avoids the pixel-level annotation and enables a weakly supervised training strategy to implicitly learn both of the traffic semantics in image perceptions and the planning intentions in navigation instructions. The navigation cost map is then rendered from the goal-directed path and the concurrently collected laser data, indicating the way towards the destination. Comprehensive experiments have been conducted with a real vehicle running in our campus and the results have verified the robustness to localization error of the proposed navigation system.

연구 동기 및 목표

• 특히 랜드마크가 부족한 환경에서 정밀한 국소화의 한계를 해결하기 위해.
• 엔드 투 엔드 학습 기반 주행 시스템의 강성과 해석 가능성 부족 문제를 해결하기 위해.
• 의미론적 단서와 군데군데 국소화를 사용하여 인간과 유사한 주행 방식을 모방하는 주행 프레임워크를 개발하기 위해.
• 픽셀 수준의 애너테이션을 요구하지 않으면서도 유연하고 안전한 운동 계획을 지원하는 주행 비용 지도를 생성하기 위해.

제안 방법

• 원시 이미지, GPS 국소화, 주행 지시사항에서 목표 지향적인 경로를 생성하기 위해 결정론적 조건부 adversarial 네트워크를 사용한다.
• 픽셀 수준의 애너테이션을 피하고 도로 의미론과 주행 의도를 암묵적으로 학습하기 위해 adversarial 손실을 사용하여 약한 감독 방식으로 모델을 훈련시킨다.
• 예측된 경로는 국소 잠재장으로 변환되고, 가우시안 커널을 사용하여 레이저 기반 장애물 데이터와 융합되어 상향 시각의 주행 비용 지도가 생성된다.
• 시스템은 계획 공간에서 로봇 상태와 장애물 상태를 분리하여 가도 가능한 영역, 자유 공간, 장애물을 의미론적 인식이 가능한 비용 지도에 통합한다.
• 자르기 전의 입력을 처리하기 위해 UNet 기반 아키텍처를 사용하여 국소화 오프셋에 대한 강건성을 향상시킨다.
• 비용 지도의 예측 능력을 검증하기 위해 오프라인 지도 렌더링 방법을 사용하여 실제 인간 운전자 궤적과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 정밀한 기하학적 국소화에 의존하지 않고도 GPS 수준의 국소화 오차 상황에서 강건한 성능을 달성할 수 있는가?
• RQ2 약한 감독 기반 학습 접근법이 원시 이미지와 주행 지시사항에서 비디오 의미론과 주행 의도를 효과적으로 포착할 수 있는가?
• RQ3 학습된 주행 비용 지도가 다양한 시나리오에서 인간과 유사한 주행 행동을 어느 정도 정확하게 예측할 수 있는가?
• RQ4 다양한 국소화 오프셋에 대해 일반화되어도 안전하고 타당한 주행 경로를 생성할 수 있는가?
• RQ5 의미론적 도로 구조와 장애물 데이터의 통합이 운동 계획의 강건성에 어떻게 기여하는가?

주요 결과

• $\text{rand\_per}$ 모델은 국소화 오차에 대해 가장 높은 강건성을 보였으며, 무작위 인식 오프셋 하에서도 약향 정확도($\Delta{\text{yaw}}/\text{deg}$)가 약간 감소하는 것으로 나타났다.
• 5m 예측 거리에서 주행 비용 지도는 궤적 확률 86%를 달성했으며, 10m에서는 68%로 상승하여 강력한 예측 정밀도를 보였다.
• $\text{rand\_per}$ 모델은 복잡한 시나리오에서 다른 모델들보다 뛰어난 성능을 보였으며, NLL 비용이 10m에서 0.384로 $\text{basic}$ (0.476) 및 $\text{rand\_navi}$ (0.514) 보다 낮았다.
• 시각적 결과에서 높은 신뢰도(확률 >0.85)를 가진 예측 궤적의 85%가 지도의 저비용 영역에 중심을 두고 있었다.
• 실패 사례는 주로 주행 신호의 큰 지연 또는 앞서기 때문이었지만, 예측 경로는 여전히 안전한 영역에 있었고, 업데이트된 지시사항으로 보정이 가능했다.
• 비용 지도는 인간과 유사한 주행 행동을 효과적으로 포착했으며, 실제 인간 궤적과의 비교 검증을 통해 효과적인 운동 계획을 가능하게 했다.