[논문 리뷰] AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot

Tong Qin, Tongqing Chen외 2명|arXiv (Cornell University)|2020. 07. 03.

Robotics and Sensor-Based Localization참고 문헌 24인용 수 11

한 줄 요약

이 논문은 자율 주차를 위한 의미적 시각 SLAM 시스템인 AVP-SLAM을 제안한다. 이 시스템은 네 대의 서라운드 뷰 카메라와 자이로스코프 및 가속도계(이하 IMU)를 통해 주차선, 안내 표지판, 속도 감속대와 같은 강건한 의미적 특징을 검출하여 안정적이고 장기적인 지도를 구축한다. GPS 기반 위치 추정이 불가능하고 무문자성(텍스처가 없는) 주차장 환경에서도 센티미터 수준의 정밀한 국소화 성능을 달성하며, 전통적인 ORB-SLAM2보다 장기적으로 더 높은 리콜률과 지도 효율성을 확보한다.

ABSTRACT

Autonomous valet parking is a specific application for autonomous vehicles. In this task, vehicles need to navigate in narrow, crowded and GPS-denied parking lots. Accurate localization ability is of great importance. Traditional visual-based methods suffer from tracking lost due to texture-less regions, repeated structures, and appearance changes. In this paper, we exploit robust semantic features to build the map and localize vehicles in parking lots. Semantic features contain guide signs, parking lines, speed bumps, etc, which typically appear in parking lots. Compared with traditional features, these semantic features are long-term stable and robust to the perspective and illumination change. We adopt four surround-view cameras to increase the perception range. Assisting by an IMU (Inertial Measurement Unit) and wheel encoders, the proposed system generates a global visual semantic map. This map is further used to localize vehicles at the centimeter level. We analyze the accuracy and recall of our system and compare it against other methods in real experiments. Furthermore, we demonstrate the practicability of the proposed system by the autonomous parking application.

연구 동기 및 목표

• 기존의 시각 SLAM 기술이 실패하는 GPS 비가용, 텍스처가 없는, 그리고 동적인 주차장 환경에서 정확한 국소화를 달성하는 데 도전한다.
• 기존의 기하학적 특징 대신 장기적으로 안정적인 의미적 특징을 활용해 강력한 지도 구축 및 국소화 시스템을 개발한다.
• 저비용 센서(카메라, IMU, 휠 인코더)를 활용해 실용적인 자율 주차 주차 시스템을 구현한다.
• 의미적 특징을 사용함으로써 외관 기반 특징 대비 지도 효율성 향상과 지도 크기 감소를 달성한다.

제안 방법

• 네 대의 서라운드 뷰 카메라가 이미지를 촬영하고, 이는 역투영 변환(Inverse Perspective Mapping, 이하 IPM)을 통해 조망도(버드의 아이 뷰)로 변환된다.
• 딥 뉴럴 네트워크를 통해 조망도 이미지에서 주차선, 안내 표지판, 속도 감속대와 같은 의미적 특징을 검출한다.
• 의미적 특징을 추출하여 3차원 위치와 기술자표현(디스크립터)를 포함한 글로벌 시각적 의미 지도를 구축한다.
• IMU와 휠 인코더 데이터를 융합하여 자세 추정 성능을 향상시키고, 지ap 및 국소화 과정에서의 드리프트를 감소시킨다.
• 사전에 구축된 지도와의 의미적 특징 매칭을 통해 국소화를 수행하며, 센티미터 수준의 정밀도로 6-DoF 자세 추정을 달성한다.
• 지도 크기를 줄이기 위해 오кт리 구조를 사용하여 압축 처리하였으며, 369,356개의 특징에 대해 단지 4.4 MB의 크기로 압축되었다.

실험 결과

연구 질문

• RQ1 동적인 주차장 환경에서 기존의 기하학적 특징보다 주차선, 안내 표지판과 같은 의미적 특징이 더 안정적이고 장기적으로 신뢰할 수 있는 특징을 제공할 수 있는가?
• RQ2 환경 변화가 있는 장기간의 간격 동안 제안된 의미적 SLAM 시스템의 국소화 리콜률과 정확도는 어떻게 평가되는가?
• RQ3 의미적 특징 사용이 기존의 특징 기반 SLAM 시스템 대비 지도 효율성 향상과 지도 크기 감소에 얼마나 기여하는가?
• RQ4 GPS 비가용 조건에서 실세계의 자율 주차 주차 시나리오에서 시스템이 센티미터 수준의 국소화 정확도를 달성할 수 있는가?

주요 결과

• AVP-SLAM은 평균 국소화 오차가 2.36 cm이며 최대 오차는 5.23 cm로, 정밀한 자율 주차에 충분한 성능을 확보하였다.
• 일주일 후 리콜률은 78.65%로 안정을 유지하였고, 한 달 후에는 79.23%로 약간 상승하였으며, 반면 ORB-SLAM2는 각각 11.42%와 10.22%로 급격히 감소하였다.
• 의미 지도 크기는 오кт리 압축을 통해 단지 4.4 MB로 압축되었으며, ORB-SLAM2의 33.7 MB보다 훨씬 작았고, 더 많은 특징을 포함하고 있음에도 불구하고 의미가 있었다.
• AVP-SLAM은 1.33%의 맵핑 오차를 기록하여 장기적으로도 높은 지도 정확도와 일관성을 확보하였다.
• 시스템은 실세계의 자율 주차 주차를 성공적으로 수행하였으며, 동적인 환경에서 GPS 기반 위치 추정이 불가능한 조건에서도 실용성과 강건성을 입증하였다.
• 의미적 특징은 기존의 외관 기반 특징과 달리 조명, 시야각, 외관 변화에 매우 강건한 것으로 입증되었다.