[논문 리뷰] Generalisable and distinctive 3D local deep descriptors for point cloud registration.

Fabio Poiesi, Davide Boscaini|arXiv (Cornell University)|2021. 05. 21.

Robotics and Sensor-Based Localization참고 문헌 43인용 수 5

한 줄 요약

이 논문은 다양한 센서와 환경 간에 일반화 가능한 스케일 및 회전 불변 3D 국소 기술자를 학습하기 위한 딥러닝 기반 방법을 제안한다. 점군 패치를 캐논리컬라이즈하고, 순열 불변 네트워크를 통해 인코딩함으로써, 기존 수작업 기반 및 학습 기반 기술자들보다 일반화 능력과 반복성에서 최상의 성능을 달성한다.

ABSTRACT

An effective 3D descriptor should be invariant to different geometric transformations, such as scale and rotation, repeatable in the case of occlusions and clutter, and generalisable in different contexts when data is captured with different sensors. We present a simple but yet effective method to learn generalisable and distinctive 3D local descriptors that can be used to register point clouds captured in different contexts with different sensors. Point cloud patches are extracted, canonicalised with respect to their local reference frame, and encoded into scale and rotation-invariant compact descriptors by a point permutation-invariant deep neural network. Our descriptors can effectively generalise across sensor modalities from locally and randomly sampled points. We evaluate and compare our descriptors with alternative handcrafted and deep learning-based descriptors on several indoor and outdoor datasets reconstructed using both RGBD sensors and laser scanners. Our descriptors outperform most recent descriptors by a large margin in terms of generalisation, and become the state of the art also in benchmarks where training and testing are performed in the same scenarios.

연구 동기 및 목표

• RGB-D 카메라 및 레이저 스캐너와 같은 다양한 센서 모odalities 간에 일반화 가능한 3D 국소 기술자를 개발하기 위해.
• 막힘, 혼잡함 및 다양한 샘플링 밀도 변화 상황에서도 기술자의 고유성과 반복성을 유지하는 데 도전하는 것.
• 점 순서와 기하학적 변환(예: 회전, 스케일)에 불변인 딥러닝 프레임워크를 설계하기 위해.
• 학습 데이터와 테스트 데이터가 서로 다른 센서 또는 환경에서 온 교차 맥락 등록 작업에서의 일반화 능력을 향상시키기 위해.

제안 방법

• 지역 이웃 샘플링을 사용하여 3D 점군에서 패치를 추출한다.
• 전역 회전 및 이동에 대한 불변성을 확보하기 위해 국소 기준 프레임을 사용하여 각 패치를 캐논리컬라이즈한다.
• 점 순서 불변 딥 네트워크가 캐논리컬라이즈된 패치를 압축되고 특징적인 기술자로 인코딩한다.
• 네트워크 아키텍처는 점 순서에 대한 불변성을 보장하며, 스케일 및 회전에 강건한 기술자를 생성하도록 훈련된다.
• 일반화 능력을 향상시키기 위해 국소적으로 및 무작위로 샘플링된 점들을 활용한다.
• 기본적인 특징 강화 및 불변성에 최적화된 엔드 투 엔드 최적화를 통해 다양한 데이터셋 간 효과적인 매칭을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 기술자가 RGB-D 및 레이저 스캐너와 같은 다양한 센서 모달리티 간에 효과적으로 일반화될 수 있는가?
• RQ2 막힘 및 혼잡 조건 하에서 제안된 방법의 반복성과 고유성은 어떻게 평가되는가?
• RQ3 순서 불변 네트워크 아키텍처는 비불변 기반 방법에 비해 기술자의 강건성에 얼마나 기여하는가?
• RQ4 학습 및 테스트가 서로 다른 환경에서 수행되더라도, 이 방법이 교차 맥락 등록에서 최상의 성능을 달성하는가?
• RQ5 캐논리컬라이징 과정이 기술자 학습에서 불변성과 일반화에 어떻게 기여하는가?

주요 결과

• 제안된 기술자는 교차 센서 점군 등록에서 최상의 성능을 달성하며, 최근의 딥러닝 및 수작업 기반 기술자들보다 일반화 능력에서 뛰어난 성능을 보였다.
• 이 방법은 막힘과 혼잡 조건에 대해 강력한 강건성을 보이며, 다양한 시나리오와 센서 유형 간에 높은 기술자 반복성을 유지한다.
• 순서 불변 네트워크 아키텍처는 무작위로 샘플링된 국소 점군으로부터 효과적으로 학습할 수 있게 하여 다양한 데이터 소스 간의 일반화 능력을 향상시킨다.
• 학습 및 테스트가 서로 다른 시나리오에서 이루어져도 기술자가 잘 일반화됨을 보여주며, 강력한 도메인 전이 능력을 나타낸다.
• 실내 및 실외 다수의 데이터셋에 대한 정량적 평가 결과, 기존 방법들에 비해 정확도 및 일반화 능력 측면에서 뛰어난 성능을 입증하였다.