[논문 리뷰] OverlapTransformer: An Efficient and Rotation-Invariant Transformer Network for LiDAR-Based Place Recognition

Junyi Ma, Jun Zhang외 4명|arXiv (Cornell University)|2022. 03. 07.

Robotics and Sensor-Based Localization인용 수 9

한 줄 요약

이 논문은 LiDAR 범위 이미지만을 사용하여 장소 인식을 위한 빠르고 정확한 글로벌 기술자를 생성하는 경량이며 요각 불변성( yaw-angle-invariant )인 Transformer 네트워크인 OverlapTransformer를 제안한다. 자기주의 메커니즘과 새로운 오버랩 기반의 감독을 활용하여, 2ms 이내의 추론 시간을 달성하고 다양한 환경, 특히 장기적 및 뒤집힌 주행 시나리오를 포함한 새로운 벤치마크 데이터셋에서 최신 기술보다 뛰어난 루프 클로징 탐지 성능을 보인다.

ABSTRACT

Place recognition is an important capability for autonomously navigating vehicles operating in complex environments and under changing conditions. It is a key component for tasks such as loop closing in SLAM or global localization. In this paper, we address the problem of place recognition based on 3D LiDAR scans recorded by an autonomous vehicle. We propose a novel lightweight neural network exploiting the range image representation of LiDAR sensors to achieve fast execution with less than 2 ms per frame. We design a yaw-angle-invariant architecture exploiting a transformer network, which boosts the place recognition performance of our method. We evaluate our approach on the KITTI and Ford Campus datasets. The experimental results show that our method can effectively detect loop closures compared to the state-of-the-art methods and generalizes well across different environments. To evaluate long-term place recognition performance, we provide a novel dataset containing LiDAR sequences recorded by a mobile robot in repetitive places at different times. The implementation of our method and dataset are released here: https://github.com/haomo-ai/OverlapTransformer

연구 동기 및 목표

• 다양한 환경과 시점 변화에 일반화되는 빠르고 효율적이며 강건한 LiDAR 기반 장소 인식 방법을 개발하는 것.
• 깊이 정보만을 사용하여 수작업으로 설계된 기능이나 다중 모odal 입력(예: 강도, 법선, 의미 정보)에 의존하지 않는 것.
• 반대 시점에서의 장소 인식이 가능한 요각 불변성 글로벌 기술자를 확보하는 것, 예를 들어 뒤집힌 주행 루프의 경우.
• 실시간 추론(프레임당 2ms 이내)이 가능한 경량 아키텍처를 설계하여 온라인 SLAM 및 국소화에 적합한 것.
• 반복적인 장소가 다양한 시간과 조건에서 촬영된 새로운 도전적인 데이터셋을 활용하여 장기적 장소 인식 성능을 평가하는 것.

제안 방법

• 3D LiDAR 스캔의 범위 이미지 표현을 입력으로 사용하여 효율적인 처리를 위한 공간적 구조를 유지한다.
• 범위 이미지 인코더(RIE)는 컬러블 레이어를 사용하여 범위 이미지에서 국소적 특징을 추출한다.
• RIE와 글로벌 기술자 생성기(GDG) 사이에 단일 Transformer 블록(TM)을 삽입하여 장거리 의존성 모델링 및 특징 표현 향상을 도모한다.
• 글로벌 기술자 생성기(GDG)는 NetVLAD 스타일의 풀링 레이어를 사용하여 특징을 고정된 크기의 글로벌 기술자로 압축한다.
• 오버랩 기반의 손실 함수를 사용하여, 겹치는 스캔 간의 기술자 유사도를 높이도록 네트워크를 훈련시킨다.
• 아키텍처 설계와 훈련 중 데이터 증강을 통해 요각 불변성을 확보하여 시점 변화에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 범위 이미지의 깊이 정보만을 사용하는 경량 Transformer 기반 네트워크가 2ms 이내의 추론 시간을 유지하면서도 높은 장소 인식 정확도를 달성할 수 있는가?
• RQ2 정밀 조정 없이도 다양한 환경과 센서 조건에서 일반화 성능이 얼마나 우수한가?
• RQ3 요각 불변성 기술자를 통해 반대 시점에서의 장소 인식 능력이 어느 정도 향상되는가(예: 뒤집힌 주행 시나리오)?
• RQ4 다른 시간대와 조건에서 반복 방문하는 상황을 포함한 장기적 장소 인식에서의 성능은 어떠한가?
• RQ5 성능와 추론 속도의 균형을 고려할 때 최적의 Transformer 블록 수는 얼마인가?

주요 결과

• 제안된 OverlapTransformer는 1.37ms의 추론 시간으로 Haomo 데이터셋에서 Recall@1이 0.788을 기록하며, 비교된 모든 최신 기술보다 빠른 속도와 높은 정확도를 확보한다.
• 단일 Transformer 블록을 사용할 경우 성능과 효율성 간 최적의 트레이드오프를 달성하며, 더 깊은 네트워크(예: 6개 블록)는 성능을 약간 저하시킨다.
• 모델은 730Hz로 실행되어 일반적인 LiDAR 스캔 속도를 초월하여 실시간 온라인 SLAM 응용에 적합하다.
• KITTI 및 Ford Campus 데이터셋에서 Recall@1 점수가 0.75 이상을 기록하여 다양한 환경에서의 강건성을 입증한다.
• 요각 불변성 설계 덕분에 반대 시점 스캔이 포함된 새로운 Haomo 데이터셋에서 뒤집힌 루프 시나리오에서도 정확한 인식이 가능함을 검증하였다.
• 기본 기반 기반의 베이스라인인 PointNetVLAD, MinkLoc3D 및 NDT-Transformer-P보다 기술자 생성 속도와 검색 효율성 측면에서 모두 뛰어난 성능을 보였다.