[논문 리뷰] RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving

Tong Qin, Yuxin Zheng외 3명|arXiv (Cornell University)|2021. 06. 04.

Robotics and Sensor-Based Localization참고 문헌 24인용 수 12

한 줄 요약

이 논문은 저비용 카메라와 소형 커뮤니티 기반 지ap을 사용하여 비용 효율적인 자율 주행 차량 위치 추정을 위한 경량 시각적 의미 지ap인 RoadMap을 제안한다. 센서가 풍부한 차량이 의미 데이터(예: 차선, 횡단보도 등)를 수집하고 업로드함으로써, 실시간 클라우드 기반 지도 융합 및 압축을 가능하게 하여 1km당 36KB의 의미 지도를 제공하며, 이는 도시 환경에서 라이다 기반 방법을 능가하는 미터 이내의 정밀도를 달성한다.

ABSTRACT

Accurate localization is of crucial importance for autonomous driving tasks. Nowadays, we have seen a lot of sensor-rich vehicles (e.g. Robo-taxi) driving on the street autonomously, which rely on high-accurate sensors (e.g. Lidar and RTK GPS) and high-resolution map. However, low-cost production cars cannot afford such high expenses on sensors and maps. How to reduce costs? How do sensor-rich vehicles benefit low-cost cars? In this paper, we proposed a light-weight localization solution, which relies on low-cost cameras and compact visual semantic maps. The map is easily produced and updated by sensor-rich vehicles in a crowd-sourced way. Specifically, the map consists of several semantic elements, such as lane line, crosswalk, ground sign, and stop line on the road surface. We introduce the whole framework of on-vehicle mapping, on-cloud maintenance, and user-end localization. The map data is collected and preprocessed on vehicles. Then, the crowd-sourced data is uploaded to a cloud server. The mass data from multiple vehicles are merged on the cloud so that the semantic map is updated in time. Finally, the semantic map is compressed and distributed to production cars, which use this map for localization. We validate the performance of the proposed map in real-world experiments and compare it against other algorithms. The average size of the semantic map is $36$ kb/km. We highlight that this framework is a reliable and practical localization solution for autonomous driving.

연구 동기 및 목표

• 대량 생산 차량에서 고비용의 고정밀 지도(HD maps) 및 고정밀 센서(Lidar, RTK-GPS 등)의 높은 비용과 확장성 한계를 해결한다.
• 저비용 카메라와 소형 의미 지도만을 사용하여 저비용 차량이 정확한 위치 추정을 달성할 수 있도록 한다.
• 센서가 풍부한 차량(예: 로보택시)이 자율적으로 지도 데이터를 수집하고 업데이트하는 확장 가능한 커뮤니티 기반 파이프라인을 개발한다.
• 정확도, 지도 크기, 계산 효율성의 균형을 맞춘 실용적이고 실제 도로 환경에 적용 가능한 위치 추정 시스템을 구축한다.

제안 방법

• 딥 러닝 기반 의미 분할을 통해 차량의 전방 카메라에서 영상 캡처 및 의미 요소(차선, 횡단보도, 정지선, 지면 표지판 등) 추출.
• RTK-GPS/IMU/오도메트리로부터의 차량 자세 정보를 활용해 기하학적 투영을 통해 2차원 의미 특징을 3차원으로 재구성, 국소 3차원 지도 형성.
• 다양한 차량의 데이터가 ICP 기반 최적화를 통해 융합되고 정렬되어 글로벌 의미 지도로 통합되는 클라우드 서버에 국소 지도 업로드.
• 최종 지도 크기를 36KB/km로 압축하기 위해 지도 압축 기법 적용, 생산 차량에 대한 효율적 배포 가능.
• ICP 기반 자세 추정을 사용해 현재 2차원 의미 특징을 압축된 3차원 의미 지도와 매칭함으로써 최종 사용자 위치 추정 수행.
• EKF 프레임워크를 활용해 시각적 위치 추정 결과와 오도메트리 데이터를 융합하여 안정성 향상 및 경로 부드러움 향상.

실험 결과

연구 질문

• RQ1 저비용 카메라와 커뮤니티 기반 데이터로부터 구축된 경량 의미 지도가 라이다 기반 시스템과 비교해 정확한 위치 추정을 달성할 수 있는가?
• RQ2 클라우드 기반 시스템이 다수 차량의 의미 지도 데이터를 얼마나 효율적으로 융합하고 압축하여 최신 상태이면서도 소형 지도를 유지할 수 있는가?
• RQ3 고정밀 센서 기반 방법과 비교해 도로 표면 마킹만을 사용하는 카메라 전용 시스템의 실현 가능한 위치 추정 정밀도는 어느 정도인가?
• RQ4 환경의 동적 변화(예: 재도색된 차선)에 시스템은 어떻게 대응하며, 업데이트 지연 시간은 얼마인가?
• RQ5 제안된 프레임워크는 대규모 도시 지역으로 확장 가능할 수 있으며, 지도 크기는 작고 정밀도는 높은 상태를 유지할 수 있는가?

주요 결과

• 압축된 의미 지도의 평균 크기는 1km당 36KB로, 저장 및 대역폭 요구량을 크게 줄였다.
• 시스템은 x축 방향 평균 위치 오차 0.043m, y축 방향 0.040m, 요행(Yaw) 방향 0.124°를 기록했으며, 라이다 기반 방법(0.121m, 0.091m, 0.197°)을 초월하는 성능을 보였다.
• 90번째 백분위수 위치 오차는 x축 0.104m, y축 0.092m, 요행 방향 0.240°로, 실제 도로 환경에서의 높은 신뢰성을 입증했다.
• 실시간으로 지도 업데이트가 성공적으로 구현됨: 차선이 재도색된 경우, 커뮤니티 기반 데이터를 통해 몇 분 내로 오래된 지도 데이터를 감지하고 교체함.
• EKF 기반 융합을 통한 시각적 위치 추정과 오도메트리의 융합은 경로의 부드러움과 안정성을 향상시켜 진동과 드리프트를 감소시켰다.
• 의미 지도는 상하이 푸둥 지역의 22km 도시 지역에서 검증되었으며, 구글 지도와 정렬되어 있어 확장성과 실제 적용 가능성 확인됨.