[논문 리뷰] BEVPlace: Learning LiDAR-based Place Recognition using Bird's Eye View Images

Luo Lun, Shuhang Zheng외 5명|arXiv (Cornell University)|2023. 02. 28.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 시점 변화와 환경 변화에 더 강건한 성능을 보이기 위해 조망도(鳥瞰図, BEV) 이미지를 사용하는 LiDAR 기반 장소 인식 방법인 BEVPlace를 제안한다. 그룹 컨볼루션을 활용한 회전 등변 특징 추출과 NetVLAD를 통한 전역 특징 집약을 통해 BEVPlace는 최신 기준 성능(기준 데이터셋에서 평균 AR@1 95.3%)을 달성하고, 일반화 능력이 뛰어나며, 학습된 특징-기하 거리 상관관계를 통해 정확한 6-DoF 위치 추정이 가능하다.

ABSTRACT

Place recognition is a key module for long-term SLAM systems. Current LiDAR-based place recognition methods usually use representations of point clouds such as unordered points or range images. These methods achieve high recall rates of retrieval, but their performance may degrade in the case of view variation or scene changes. In this work, we explore the potential of a different representation in place recognition, i.e. bird's eye view (BEV) images. We observe that the structural contents of BEV images are less influenced by rotations and translations of point clouds. We validate that, without any delicate design, a simple VGGNet trained on BEV images achieves comparable performance with the state-of-the-art place recognition methods in scenes of slight viewpoint changes. For more robust place recognition, we design a rotation-invariant network called BEVPlace. We use group convolution to extract rotation-equivariant local features from the images and NetVLAD for global feature aggregation. In addition, we observe that the distance between BEV features is correlated with the geometry distance of point clouds. Based on the observation, we develop a method to estimate the position of the query cloud, extending the usage of place recognition. The experiments conducted on large-scale public datasets show that our method 1) achieves state-of-the-art performance in terms of recall rates, 2) is robust to view changes, 3) shows strong generalization ability, and 4) can estimate the positions of query point clouds. Source codes are publicly available at https://github.com/zjuluolun/BEVPlace.

연구 동기 및 목표

• 시점 변화와 환경 변화 상황에서 성능이 저하되는 기존 LiDAR 기반 장소 인식 방법의 한계를 해결하기 위해.
• 조망도(BEV) 이미지가 LiDAR 포인트 클라우드에 대한 더 강건한 표현 방식임을 탐색하기 위해.
• 시점 변화 상황에서도 높은 성능을 유지할 수 있는 회전 불변 네트워크를 개발하기 위해.
• 장소 인식을 검색을 넘어서, 학습된 특징-기하 거리 상관관계를 활용한 정확한 6-DoF 위치 추정을 가능하게 하기 위해.

제안 방법

• LiDAR 포인트 클라우드를 조망도(BEV) 이미지로 투영하여, 범위 이미지나 순서 없는 포인트 클라우드에 비해 센서 이동 및 회전에 더 안정적인 표현을 확보한다.
• 조망도 이미지에서 회전 등변 국소 특징을 추출하기 위해 그룹 컨볼루션 기반 네트워크를 설계하여 시점 변화에 대한 강건성을 향상시킨다.
• 장소 검색을 위한 전역적이고 회전 불변의 기술자표를 생성하기 위해 NetVLAD를 적용하여 국소 특징을 집약한다.
• L2 거리와 포인트 클라우드 간 기하 거리 간의 학습된 상관관계 모델을 통해 위치 추정을 가능하게 한다.
• KITTI와 옥스포드 로봇카와 같은 공개 데이터셋에서 엔드 투 엔드로 훈련되며, 쿼리당 약 30ms의 실시간 성능을 달성한다.

실험 결과

연구 질문

• RQ1 시점 변화 상황에서 범위 이미지나 순서 없는 포인트 클라우드에 비해 조망도(BEV) 이미지가 LiDAR 기반 장소 인식에 더 강건한 표현으로 기능할 수 있는가?
• RQ2 딥 러닝 모델이 조망도 이미지 기반 특징 학습에서 어떻게 회전 불변성을 달성하여 일반화 능력을 향상시킬 수 있는가?
• RQ3 조망도 특징 간 거리가 포인트 클라우드 간 기하 거리와 신뢰성 있게 상관관계를 가지는가? 이를 통해 위치 추정이 가능할 수 있는가?
• RQ4 제안된 BEVPlace 방법이 다양한 데이터셋에서 재현율, 강건성, 일반화 능력 측면에서 최신 기준 기법들을 초월하는가?

주요 결과

• BEVPlace는 기준 데이터셋에서 평균 Top-1 재현율 95.3%를 달성하여, MinkLoc3Dv2와 같은 트랜스포머 기반 모델 및 ResNet34+NetVLAD와 같은 최신 기준 기법들을 능가한다.
• 이 방법은 강력한 일반화 능력을 보이며, KITTI에서 훈련된 후 ALITA 데이터셋에서도 높은 성능 유지를 보였고, 다른 방법들은 성능 저하가 심각하게 나타났다.
• 옥스포드 데이터셋에서는 AR@1 96.5%, 미국 데이터셋에서는 96.9%를 기록하여, 시점 변화와 환경 변화 상황에서도 뛰어난 강건성을 입증했다.
• 특징-기하 거리 상관관계 모델은 정확한 위치 추정을 가능하게 하였으며, 특히 기울임 변형에 대한 영향을 고려한 누적 이동 오차 분포에서 뛰어난 성능을 보였다.
• 실행 시간 평가 결과, RTX 3090 GPU에서 쿼리당 약 30ms의 시간이 소요되어 10Hz에서 실시간 국소화가 가능하며, SLAM 시스템에 적합하다.