[논문 리뷰] PointDSC: Robust Point Cloud Registration using Deep Spatial Consistency

Xuyang Bai, Zixin Luo외 6명|arXiv (Cornell University)|2021. 03. 09.

3D Surveying and Cultural Heritage참고 문헌 76인용 수 17

한 줄 요약

PointDSC는 새로운 비국소 특징 집약 모듈과 가시적 스펙트럼 매칭 모듈을 통해 공간 일관성을 명시적으로 모델링함으로써 강력한 3D 포인트 클라우드 정렬을 위한 딥러닝 프레임워크를 제안한다. 실세계 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존의 학습 기반 및 수작업 기반 이상치 제거 방법들보다 뚜렷이 뛰어나며, 특히 높은 이상치 비율과 작은 오버랩 조건에서 뛰어난 성능을 보인다.

ABSTRACT

Removing outlier correspondences is one of the critical steps for successful feature-based point cloud registration. Despite the increasing popularity of introducing deep learning methods in this field, spatial consistency, which is essentially established by a Euclidean transformation between point clouds, has received almost no individual attention in existing learning frameworks. In this paper, we present PointDSC, a novel deep neural network that explicitly incorporates spatial consistency for pruning outlier correspondences. First, we propose a nonlocal feature aggregation module, weighted by both feature and spatial coherence, for feature embedding of the input correspondences. Second, we formulate a differentiable spectral matching module, supervised by pairwise spatial compatibility, to estimate the inlier confidence of each correspondence from the embedded features. With modest computation cost, our method outperforms the state-of-the-art hand-crafted and learning-based outlier rejection approaches on several real-world datasets by a significant margin. We also show its wide applicability by combining PointDSC with different 3D local descriptors.

연구 동기 및 목표

• 특징 기반 3D 포인트 클라우드 정렬에서 기존 방법들이 내재된 내재성 클러스터의 지배력이 떨어지기 때문에 실패하는 높은 이상치 비율 문제를 해결하기 위해.
• 기존의 학습 기반 방법들이 특징 임bedding 및 이상치 분류 과정에서 공간 일관성을 忽略하는 한계를 극복하기 위해.
• 특히 강체 변환 하에서의 공간 일관성이라는 기하학적 제약 조건을 딥 네트워크에 통합하여 이상치 제거의 강건성을 향상시키기 위해.
• 실내 및 실외 환경 전반에서 일반화 가능하며, 다양한 3D 局부 기반 기술과 원활하게 통합되는 방법을 개발하기 위해.
• 학습된 기하학적 특징과 시드 메커니즘을 통합하여 고노이즈 환경에서 스펙트럼 매칭의 강건성을 향상시키기 위해.

제안 방법

• 공간 일관성을 유도하는 비국소(Nonlocal) 모듈(SCNonlocal)를 제안하며, 특징 유사성과 공간 일관성(강체 변환 하에서의 길이 일관성)을 모두 고려하여 특징 상관관계를 가중한다.
• 전통적인 길이 기반 호환성 대신 딥 기하학적 특징을 사용하는 가시적 신경 스펙트럼 매칭(NSM) 모듈을 도입하여 엔드 투 엔드 학습이 가능하게 한다.
• 신뢰할 수 있는 대응 관계를 식별하고 반복적 NSM를 위한 다수의 하위집합을 형성하는 시드 메커니즘을 활용하여, 높은 이상치 비율 조건에서 내재 클러스터 탐지 능력을 향상시킨다.
• 임bed된 특징과 공간 일관성을 기반으로 구성된 호환성 그래프를 사용하여 스펙트럼 클러스터링을 수행함으로써 내재 집합 추정을 수행한다.
• 공간 일관성에 기반한 이차적 공간 호환성 손실($L_{sm}$)을 통해 NSM 모듈을 감독함으로써, 네트워크가 기하학적 일관성에서 내재 신뢰도를 학습할 수 있도록 한다.
• SCNonlocal와 NSM 모듈을 두 단계 파이프라인으로 통합: 첫 번째 단계는 공간 인식 특징 집약을 통한 특징 임베딩; 두 번째 단계는 스펙트럼 분석을 통한 가시적 이상치 제거.

실험 결과

연구 질문

• RQ1 딥 네트워크 내에서 공간 일관성을 명시적으로 모델링하면 3D 포인트 클라우드 정렬에서 이상치 제거의 강건성이 향상되는가?
• RQ2 기하학적 제약 조건(강체 변환 일관성)을 특징 임베딩에 통합하면 대응 매칭을 위한 표현 학습이 어떻게 향상되는가?
• RQ3 높은 이상치 비율 조건에서, 가시적 스펙트럼 매칭 모듈이 기존의 전통적 SM 및 엔드 투 엔드 학습 기반 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 시드 메커니즘이 소오버랩 및 고노이즈 정렬 시나리오에서 성능 향상에 기여하는가?
• RQ5 이 방법은 다양한 데이터셋에서 일반화 가능하며, 다양한 3D 국부 기반 기술과 효과적으로 작동하는가?

주요 결과

• PointDSC는 3DMatch 데이터셋에서 93.28%의 정렬 재현율(RR)과 82.35%의 F1 점수를 기록하며, 이는 이전 SOTA(DGR)보다 RR에서 5.1% 향상되고 F1에서 5.2% 향상된 성능이다.
• SCNonlocal 모듈을 기존 PointCN 기반 기준에 비해 NSM 모듈과 조합했을 때, RR에서 4.89% 향상되고 F1에서 7.31% 향상되었다.
• 신경 특징 일관성을 통합한 NSM 모듈은 기존의 전통적 SM을 1.86% 향상시키며 RR에서, F1에서 0.67% 향상시켜 학습된 기하학적 특징의 유용성을 입증한다.
• 시드 메커니즘을 통한 성능 향상은 RR에서 4.48% 향상되고 F1에서 33.47% 향상되었으며, 이는 높은 이상치 비율 환경에서의 효과성을 입증한다.
• 학습 중 $L_{sm}$ 손실을 제거할 경우 F1 점수가 81.58%로 감소하여, 공간 호환성에 기반한 감독의 중요성을 확인한다.
• 정성적 결과에서는 PointDSC가 95% 이상의 이상치 비율에서도 이상치를 성공적으로 거부하는 반면, RANSAC-100k는 이러한 극단적인 경우에서 실패함을 보였다.