[논문 리뷰] CVTNet: A Cross-View Transformer Network for Place Recognition Using LiDAR Data

Junyi Ma, Guangming Xiong외 2명|arXiv (Cornell University)|2023. 02. 03.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

CVTNet는 LiDAR 데이터에서 다층 범위 이미지 시각(RIVs)과 조랑 시각(BEVs)을 융합하는 크로스뷰 트랜스포머 네트워크를 제안하여, 강건하고 실시간으로 장소 인식을 수행할 수 있는 요각 불변 전역 기술자를 생성한다. 내부 및 상호 트랜스포머 모듈을 활용하여 각 시각 내부 및 간의 상관관계를 모델링함으로써, CVTNet는 NCLT, KITTI 및 자체 기록한 데이터셋을 포함한 대규모 실외 데이터셋에서 29 Hz 이상의 추론 속도를 달성하며 최신 기술 수준(SOTA) 성능을 기록한다.

ABSTRACT

LiDAR-based place recognition (LPR) is one of the most crucial components of autonomous vehicles to identify previously visited places in GPS-denied environments. Most existing LPR methods use mundane representations of the input point cloud without considering different views, which may not fully exploit the information from LiDAR sensors. In this paper, we propose a cross-view transformer-based network, dubbed CVTNet, to fuse the range image views (RIVs) and bird's eye views (BEVs) generated from the LiDAR data. It extracts correlations within the views themselves using intra-transformers and between the two different views using inter-transformers. Based on that, our proposed CVTNet generates a yaw-angle-invariant global descriptor for each laser scan end-to-end online and retrieves previously seen places by descriptor matching between the current query scan and the pre-built database. We evaluate our approach on three datasets collected with different sensor setups and environmental conditions. The experimental results show that our method outperforms the state-of-the-art LPR methods with strong robustness to viewpoint changes and long-time spans. Furthermore, our approach has a good real-time performance that can run faster than the typical LiDAR frame rate. The implementation of our method is released as open source at: https://github.com/BIT-MJY/CVTNet.

연구 동기 및 목표

• 기존의 LiDAR 기반 장소 인식(LPR) 방법이 점군의 단일 시각 또는 최적화되지 않은 표현을 사용하는 데서 비롯되는 한계를 해결하기 위해.
• 새로운 트랜스포머 아키텍처를 통해 다층 RIVs와 BEVs 간 잠재적 정렬을 모델링하여 상호 보완적인 정보를 활용하기 위해.
• 크기 있는 시점 변화, 특히 반대 주행 방향 조건에서도 강건한 장소 인식을 보장하기 위해 요각 불변 기술자를 개발하기 위해.
• 온라인 자율 주행 응용 프로그램에 적합한 실시간 추론 성능를 확보하기 위해.

제안 방법

• 3D LiDAR 점군을 다층 RIVs와 BEVs로 투영하여 다양한 깊이와 높이에서의 공간적 및 범위 정보를 캡처한다.
• 각 시각(RIV 및 BEV) 내부에서 내부 주의를 적용하여 내부 시각 상관관계를 추출하는 새로운 크로스뷰 트랜스포머 네트워크(CVTNet)를 사용한다.
• 정렬된 RIV 및 BEV 특징 간에 상호 주의를 적용하여 크로스뷰 의존성 모델링 및 특징 분류도 향상한다.
• 학습 가능한 클래스 토큰을 사용하여 각 LiDAR 스캔에 대해 단일이고 전역적인 요각 불변 기술자를 엔드 투 엔드로 생성한다.
• RIV와 BEV 투영 간 기하학적 대응 관계를 활용하여 요각 회전에 엄격히 불변인 아키텍처를 설계한다.
• 효율적인 검색을 위해 FAISS를 사용하여 사전 구축된 데이터베이스와 현재 쿼리 스캔 간의 기술자 매칭을 통한 장소 인식을 수행한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처를 통해 다층 RIVs와 BEVs를 융합하면 LiDAR 기반 장소 인식을 위한 특징 표현이 향상되는가?
• RQ2 큰 시점 변화 조건 하에서 제안된 크로스뷰 트랜스포머가 요각 불변성을 얼마나 효과적으로 달성하는가?
• RQ3 단일 채널 표현에 비해 다층 입력 사용이 특징 분류도 향상에 기여하는가?
• RQ4 제안된 방법이 온라인 자율 주행 시스템에 적합한 실시간 추론 성능를 달성할 수 있는가?
• RQ5 다양한 데이터셋에서 최신 기술 수준의 LPR 방법과 비교해 볼 때 정확도 및 강건성 측면에서 제안된 방법은 어떠한가?

주요 결과

• CVTNet는 NCLT, KITTI 및 자체 기록한 데이터셋에서 최신 기술 수준 성능를 기록하였으며, 다층 입력을 사용하여 자체 기록한 데이터셋에서 평균 Recall@1이 0.907을 기록하였다.
• 메서드는 강력한 요각 불변성을 보이며, 모든 30° 요각 회전 단계에서 높은 성능(Recall@1 > 0.85)을 유지한다. 이는 MinkLoc3D 및 PointNetVLAD가 회전 증가에 따라 성능가 파편화되는 것과 대비된다.
• CVTNet는 29.85 Hz(1회 추론당 33.50 ms)로 작동하여 일반적인 10 Hz LiDAR 프레임 레이트를 초월하여 실시간 배포에 적합하다.
• 제거 분석 결과 다층 입력이 단일 채널 입력보다 성능 향상을 이끌어내며, 자체 기록한 데이터셋에서 Recall@1이 0.041 향상되었다.
• 상호 트랜스포머 모듈이 내부 트랜스포머보다 더 큰 성능 향상 기여를 하여, 크로스뷰 상관관계가 강건한 기술자 학습에 핵심적임을 시사한다.
• 모델은 총 2138만 개의 파라미터를 가지며, 임베디드 환경에 적합한 낮은 메모리 소비와 높은 효율성을 나타낸다.