[논문 리뷰] NDT-Transformer: Large-Scale 3D Point Cloud Localisation using the Normal Distribution Transform Representation

Zhicheng Zhou, Cheng Zhao외 5명|arXiv (Cornell University)|2021. 03. 23.

Robotics and Sensor-Based Localization참고 문헌 28인용 수 5

한 줄 요약

NDT-Transformer는 밀도 높은 포인트 클라우드를 확률적 NDT 셀로 압축하는 정규분포변환(NDT) 표현을 사용하여 실시간으로 대규모 3D 포인트 클라우드 현지화를 수행하는 방법을 제안한다. 이어 기하학적 및 맥락적 특징을 통합한 글로벌 기술자 특징을 학습하는 새로운 트랜스포머 기반 네트워크를 적용한다. 이 방법은 기존 방법 대비 Oxford Robotcar 벤치마크에서 평균 top-1 재현율 7.52% 향상 및 top-1% 재현율 2.73% 향상으로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

3D point cloud-based place recognition is highly demanded by autonomous driving in GPS-challenged environments and serves as an essential component (i.e. loop-closure detection) in lidar-based SLAM systems. This paper proposes a novel approach, named NDT-Transformer, for realtime and large-scale place recognition using 3D point clouds. Specifically, a 3D Normal Distribution Transform (NDT) representation is employed to condense the raw, dense 3D point cloud as probabilistic distributions (NDT cells) to provide the geometrical shape description. Then a novel NDT-Transformer network learns a global descriptor from a set of 3D NDT cell representations. Benefiting from the NDT representation and NDT-Transformer network, the learned global descriptors are enriched with both geometrical and contextual information. Finally, descriptor retrieval is achieved using a query-database for place recognition. Compared to the state-of-the-art methods, the proposed approach achieves an improvement of 7.52% on average top 1 recall and 2.73% on average top 1% recall on the Oxford Robotcar benchmark.

연구 동기 및 목표

• GPS 장애 환경에서 자율주행을 위한 대규모 3D 포인트 클라우드 기반 현지화의 확장성 및 일반화 문제를 해결하기 위해.
• GPS 또는 반복적 정렬에 의존하지 않고 센서 데이터만으로도 계산 효율성이 높고 실시간으로 장소 인식이 가능한 방법을 개발하기 위해.
• 기하학적 구조와 맥락 정보를 모두 포괄하는 일반화 가능한 글로벌 기술자 특징을 3D 포인트 클라우드에서 학습하기 위해.
• 대규모 환경에서 효율적이고 확장 가능한 검색을 지원하는 NDT 표현을 심층 신경망 아키텍처와 통합하기 위해.
• NDT 기반 SLAM 및 몬테카를로 현지화 시스템에 통합 가능한 견고한 엔드 투 엔드 솔루션을 제공하기 위해.

제안 방법

• 방법은 원시적인 밀도 높은 3D 포인트 클라우드를 구조화된 기하학적 인식 가능한 표현으로 압축하기 위해 3D 정규분포변환(NDT)을 사용한다. 이는 기하학적 특징을 유지하면서 차원을 감소시킨다.
• 각 NDT 셀은 평균 벡터와 공분산 행렬을 사용하여 국소 포인트 클라우드 분포를 인코딩하며, 이는 기하학적 특징을 반영한 구조화된 표현을 형성한다.
• 새로운 NDT-Transformer 네트워크는 NDT 셀의 집합을 시퀀스로 처리하여 자기주의 주의 메커니즘을 활용해 맥락 이해를 바탕으로 한 글로벌 기술자 특징을 학습한다.
• 네트워크는 포인트별 변환과 불확실성 전파를 수행하는 T-Net 모듈을 활용하여 기하학적 변형에 대한 강건성을 향상시킨다.
• 장소 인식은 쿼리-데이터베이스 검색 설정을 통해 수행되며, 쿼리 기술자 특징은 온라인으로 계산되고, 데이터베이스 기술자 특징은 사전에 계산하여 저장되어 빠른 O(log n) 검색을 가능하게 한다.
• 모델은 메트릭 학습을 통해 같은 위치의 기술자 특징 간 유사도를 최대화하고, 다른 위치 간 유사도를 최소화하도록 훈련된다.

실험 결과

연구 질문

• RQ1 NDT 셀 표현에서 학습된 글로벌 기술자 특징이 기존 방법보다 대규모 3D 포인트 클라우드 장소 인식에서 우수한 성능을 내는가?
• RQ2 NDT 표현이 새로운 환경에서 견고한 현지화를 위해 기하학적 및 맥락 정보를 어느 정도 유지하는가?
• RQ3 NDT 셀과 트랜스포머 아키텍처를 통합함으로써 포인트 기반 또는 이미지 기반 기준 대비 특징 학습 성능이 어떻게 향상되는가?
• RQ4 최종 기술자 특징 성능에 기여하는 기하학적 특징(평균 및 공분산)과 공간적 위치 중 어느 것이 더 중요한가?
• RQ5 사전에 계산된 데이터베이스 기술자 특징만을 사용할 경우, 훈련 데이터에 포함되지 않은 새로운 도로 세그먼트(예: 새로운 도로 구간)에 대해서도 시스템이 미세조정 없이 일반화 가능한가?

주요 결과

• NDT-Transformer는 Oxford Robotcar 데이터셋에서 평균 top-1 재현율 93.80%와 top-1% 재현율 97.65%를 달성하였으며, 이는 이전 SOTA 방법인 LPD-Net 대비 각각 7.52%와 2.73% 향상된 성능이다.
• 절단 분석 결과, 공분산을 포함하지 않은 포인트 위치만을 사용할 경우 top-1 재현율이 17.87% 감소함을 확인하여 기하학적 불확실성이 기술자 특징 학습에 매우 중요함을 입증한다.
• 포인트 위치 없이 공분산 행렬만을 사용할 경우 top-1 재현율이 6.92% 감소함을 확인하여 공간적 구조가 정확한 현지화에 필수적임을 시사한다.
• T-Net 모듈을 제거할 경우 top-1 재현율이 1.98% 감소하여, 이 모듈이 특징 학습의 안정성 향상과 기하학적 변형 처리에 기여함을 입증한다.
• 포인트 클라우드당 평균 추론 시간이 0.034초(NDT 변환 0.03초, 트랜스포머 처리 0.004초)로 실시간 성능을 달성한다.
• 훈련 데이터에 포함되지 않은 새로운 도로 세그먼트(예: 새로운 도로 구간)에서도 성공적으로 현지화를 수행함으로써, 새로운 환경에 대한 강력한 일반화 능력을 확인하였다.