[논문 리뷰] Self-Supervised Point Cloud Registration with Deep Versatile Descriptors

Dongrui Liu, Chuanchuan Chen외 3명|arXiv (Cornell University)|2022. 01. 25.

Remote Sensing and LiDAR Applications인용 수 5

한 줄 요약

이 논문은 전역 및 국소 기술자를 동시에 활용하여 특징 표현과 변환 인식 능력을 향상시키는 자기지도 학습 기반 포인트 클라우드 정합 방법을 제안한다. 국소 일관성 손실과 보조 과제(재구성 및 법선 추정)를 도입함으로써, 합성 및 실제 세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, 지도 학습 방법조차도 능가하면서도 계산 효율성을 유지한다.

ABSTRACT

As a fundamental yet challenging problem in intelligent transportation systems, point cloud registration attracts vast attention and has been attained with various deep learning-based algorithms. The unsupervised registration algorithms take advantage of deep neural network-enabled novel representation learning while requiring no human annotations, making them applicable to industrial applications. However, unsupervised methods mainly depend on global descriptors, which ignore the high-level representations of local geometries. In this paper, we propose to jointly use both global and local descriptors to register point clouds in a self-supervised manner, which is motivated by a critical observation that all local geometries of point clouds are transformed consistently under the same transformation. Therefore, local geometries can be employed to enhance the representation ability of the feature extraction module. Moreover, the proposed local descriptor is flexible and can be integrated into most existing registration methods and improve their performance. Besides, we also utilize point cloud reconstruction and normal estimation to enhance the transformation awareness of global and local descriptors. Lastly, extensive experimental results on one synthetic and three real-world datasets demonstrate that our method outperforms existing state-of-art unsupervised registration methods and even surpasses supervised ones in some cases. Robustness and computational efficiency evaluations also indicate that the proposed method applies to intelligent vehicles.

연구 동기 및 목표

• 전체 기술자에 의존하는 비지도 학습 기반 포인트 클라우드 정합 방법의 한계를 해결하기 위해 국소 기하 표현의 강인성을 확보하고자 한다.
• 고정 변환 하에서 국소 점 부분집합 간 기하 일관성을 활용하여 딥 특징 추출 시 변환 인식 능력을 향상시키고자 한다.
• 지상 진술 대응 관계가 필요 없이 기존 정합 파이프라인에 국소 기술자를 통합할 수 있는 유연한 자기지도 학습 프레임워크를 설계하고자 한다.
• 노이즈, 이상치, 부분적 포인트 클라우드 등 도전적인 조건에서도 실제 스마트 드라이빙 응용 분야에서의 강인성과 효율성을 향상시키고자 한다.
• 보조 과제인 포인트 클라우드 재구성 및 법선 추정이 특징 표현 및 정합 정확도 향상에 기여하는지 검증하고자 한다.

제안 방법

• 고정 변환 하에서 기하 불변성을 강제하는 국소 일관성 손실을 사용하여 전역 및 국소 기술자를 동시에 최적화하는 자기지도 학습 프레임워크를 제안한다.
• 모든 국소 기하 구조가 일관되게 변환된다는 관찰에 기반한 프리텍스트 과제를 설계하여, 네트워크가 고수준의 구조적 표현을 학습할 수 있도록 한다.
• 특징을 독특한 국소 부분집합에서 추출하는 국소 기술자 모듈을 도입하여, 부분적 또는 노이즈가 있는 스캔에 대한 강인성을 확보한다.
• 재구성 및 법선 추정을 보조 과제로 활용하여 전역 및 국소 기술자의 변환 인식 능력을 향상시킨다.
• 변환된 원천 및 대상 포인트 클라우드 간 특징 차이의 정사각형 행렬 시각화를 통해 수렴성과 정합 품질을 분석한다.
• 전역 기술자 손실, 국소 일관성 손실, 재구성 손실, 법선 추정 손실을 조합한 다중 과제 손실 함수를 사용하며, 최적의 균형을 확보하기 위해 하이퍼파rameter를 조정한다.

실험 결과

연구 질문

• RQ1 전역 및 국소 기술자를 동시에 사용할 경우, 전역 기술자에만 의존하는 것보다 자기지도 학습 기반 포인트 클라우드 정합 성능을 향상시킬 수 있는가?
• RQ2 국소 부분집합 간 기하 일관성 강제가 특징 표현 및 정합 정확도 향상에 어떻게 기여하는가?
• RQ3 재구성 및 법선 추정과 같은 보조 과제가 딥 특징 추출 시 변환 인식 능력 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법이 도전적인 실제 환경 조건에서 비지도 및 지도 학습 정합 방법을 모두 능가할 수 있는가?
• RQ5 국소 점 부분집합의 크기와 하이퍼파rameter 설정이 전체 정합 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 합성 데이터셋(ModelNet40)과 실제 세계 데이터셋(ScanNet, KITTI, NuScenes) 모두에서 최신 기술 수준의 성능을 달성하며, 기존 비지도 학습 방법뿐 아니라 일부 지도 학습 방법까지도 능가한다.
• 모든 보조 과제와 전역-국소 학습을 통합한 전체 모델(D)가 가장 뛰어난 성능을 보이며, 각 구성 요소가 최종 결과에 기여하고 있음을 입증한다.
• 최적의 국소 기술자 크기는 64점이며, 이는 더 작은(32점) 또는 더 큰(96점) 크기에서는 성능이 저하됨을 보여주며, 세부 정보와 강인성 사이의 상충 관계를 확인한다.
• 재구성에 대한 최적의 하이퍼파rameter 설정은 λ₁=0.5, 법선 추정에 대한 설정은 λ₂=0.1이며, 이보다 큰 값은 과제 불균형으로 인해 성능 저하를 유발한다.
• 최적화 과정에서 회전 오차는 340.33°에서 6.30°로 감소하며, 높은 변환 인식 능력을 갖춘 특징 추출이 가능하지만, 저인식 기반 베이스라인은 국소 최적값에 갇혀 있어 40.68°의 오차를 유지한다.
• 국소 일관성 손실은 대부분의 기존 정합 네트워크에 쉽게 통합 가능하며, 아키텍처의 대대적 개선 없이도 성능 향상을 이끌 수 있다.