[논문 리뷰] Utilizing Semantic Visual Landmarks for Precise Vehicle Navigation

Varun Murali, Han-Pang Chiu외 3명|arXiv (Cornell University)|2018. 01. 02.

Robotics and Sensor-Based Localization참고 문헌 19인용 수 4

한 줄 요약

이 논문은 사전 훈련된 딥 러닝 모델에서 추출한 의미적 세그멘테이션을 통합하여 시각적 랜드마크 기반 주행 중 일시적인 시각적 특징(예: 차량, 보행자)을 걸러내는 게이트드 팩터 그래프 프레임워크를 제안한다. 특징 추적, 지ap 빌딩, 주행 단계에서 의미적 인식 기반 특징 선택을 적용함으로써, GPS 장애 환경에서 3D RMS 오차 기준으로 정확도를 21% 향상시켜 다양한 도시 환경에서의 강인성과 일반화 능력을 입증한다. 시스템 수정이 최소한이어도 효과적이다.

ABSTRACT

This paper presents a new approach for integrating semantic information for vision-based vehicle navigation. Although vision-based vehicle navigation systems using pre-mapped visual landmarks are capable of achieving submeter level accuracy in large-scale urban environment, a typical error source in this type of systems comes from the presence of visual landmarks or features from temporal objects in the environment, such as cars and pedestrians. We propose a gated factor graph framework to use semantic information associated with visual features to make decisions on outlier/ inlier computation from three perspectives: the feature tracking process, the geo-referenced map building process, and the navigation system using pre-mapped landmarks. The class category that the visual feature belongs to is extracted from a pre-trained deep learning network trained for semantic segmentation. The feasibility and generality of our approach is demonstrated by our implementations on top of two vision-based navigation systems. Experimental evaluations validate that the injection of semantic information associated with visual landmarks using our approach achieves substantial improvements in accuracy on GPS-denied navigation solutions for large-scale urban scenarios

연구 동기 및 목표

• 시각 기반 차량 주행 시스템의 정확도를 떨어뜨리는 지속적인 문제인 일시적인 시각적 특징(예: 움직이는 차량, 보행자)을 해결하기 위해.
• 지도 구축 과정에서 의미적으로 일시적인 특징을 걸러내어 지오레퍼런스된 시각 지도의 품질을 향상시키기 위해.
• 의미적 레이블을 활용해 랜드마크 선택과 추적을 안내함으로써 GPS 장애 환경에서 실시간 주행 정확도를 향상시키기 위해.
• 기존의 시각 SLAM 및 주행 시스템과 호환되는 일반화 가능한 플러그-인 프레임워크를 개발하기 위해.
• 사전 훈련된 딥 러닝 모델에서 유래한 의미 정보가 대규모 도시 환경에서 주행의 강인성과 정확도를 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 의미적 레이블을 시각 주행 시스템의 팩터 그래프 구성에 통합하기 위해 게이트드 팩터 그래프 프레임워크를 도입한다.
• 입력 이미지에 적용된 사전 훈련된 의미 세그멘테이션 네트워크(예: DeepLab 또는 유사 모델)에서 의미적 레이블을 추출한다.
• 게이팅 메커니즘을 사용해 '일시적'(예: 차량, 보행자)으로 레이블이 지정된 특징을 특징 추적 및 지도 구축 과정에서 억제한다.
• 이 프레임워크는 세 단계에 적용된다: (1) 실시간 특징 추적, (2) 지도화된 지오레퍼런스 지도 구축, (3) 사전 지ap된 랜드마크를 이용한 GPS 장애 주행.
• 각 사전 지도화된 랜드마크는 팩터 그래프 내 단일 측정값으로 간주되며, 신뢰도에 따라 의미적 레이블을 활용해 관측값을 가중치를 부여하거나 기각한다.
• 이 접근법은 두 가지 최신 기술 기반 시스템에서 평가되었다: ORB-SLAM2(특징 추적 향상용) 및 사전 지도화된 시각-자이로스코픽 주행 시스템(지도 및 주행 향상용).

실험 결과

연구 질문

• RQ1 사전 훈련된 모델에서 유도한 의미 세그멘테이션은 일시적인 시각적 특징이 시각 주행 정확도에 미치는 영향을 효과적으로 줄일 수 있는가?
• RQ2 의미 인식 기반 필터링은 GPS 장애 도시 환경에서 사전 지도화된 시각 랜드마크 시스템의 강인성과 정확도를 어떻게 향상시키는가?
• RQ3 간단한 플러그인 의미 게이팅 메커니즘이 다양한 도시 환경에서 지도 품질과 주행 성능을 얼마나 향상시킬 수 있는가?
• RQ4 의미 정보 통합이 RMS, 중앙값, 90% 분위수 오차와 같은 3D 궤적 오차 지표에서 측정 가능한 향상 효과를 유도하는가?
• RQ5 제안된 프레임워크는 주요 아키텍처 수정 없이 다양한 시각 주행 시스템에 일반화 가능한가?

주요 결과

• 제안된 방법은 테스트 시퀀스 전반에서 GPS 장애 주행의 3D 루트 평균 제곱(RMS) 오차를 21% 향상시켰다.
• 3D 중앙값 오차는 19.1% 감소하였고, 90% 분위수 오차는 22% 향상되어 도전적인 조건에서도 강인성이 향상됨을 시사한다.
• 모든 테스트 시퀀스에서 카메라 캘리브레이션 오차가 약 30cm 감소하였고, 표준편차가 낮아, 계절 변화에 따른 일관성 향상이 확인되었다.
• 주차된 차량, 고속도로, 나무로 뒤덮인 거리 등 다양한 환경에서 강인성이 향상되어 다양한 도시 환경에서의 일반화 능력이 확인되었다.
• 의미 선택 모듈이 사전 지도화 과정에서 주차된 차량과 같은 일시적 특징을 걸러내어 지도 품질을 크게 향상시켰다.
• 실시간 추적(예: ORB-SLAM2)과 사전 지도화 주행 시스템에 모두 적용되었을 때 효과적이며, 이는 일반성과 호환성의 증거가 된다.