[논문 리뷰] Robust Partial-to-Partial Point Cloud Registration in a Full Range

Liang Pan, Zhongang Cai외 1명|arXiv (Cornell University)|2021. 11. 30.

3D Shape Modeling and Analysis참고 문헌 66인용 수 13

한 줄 요약

이 논문은 전체 범위의 변환(SE(3)) 하에서 잡음이 많고 완전하지 않은 관측 조건에서도 강력한 부분-부분(point cloud) 정렬을 위한 새로운 그래프 기반 딥러닝 프레임워크인 GMCNet을 제안한다. 변환에 강인한 점 변환기(TPT)와 계층적 그래픽 모델링(HGM)을 도입하여 회전 불변(ri) 기하 특징과 노이즈에 강인한 공간 좌표를 사용해 자세에 영향을 받지 않는 특징을 학습함으로써, 지도 없는 대응 관계나 교차적 맥락 정보 없이도 합성(MN40) 및 실세계(MVP-RG) 부분 포인트 클라우드 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Point cloud registration for 3D objects is a challenging task due to sparse and noisy measurements, incomplete observations and large transformations. In this work, we propose extbf{G}raph extbf{M}atching extbf{C}onsensus extbf{Net}work ( extbf{GMCNet}), which estimates pose-invariant correspondences for full-range Partial-to-Partial point cloud Registration (PPR) in the object-level registration scenario. To encode robust point descriptors, extbf{1)} we first comprehensively investigate transformation-robustness and noise-resilience of various geometric features. extbf{2)} Then, we employ a novel {T}ransformation-robust {P}oint {T}ransformer ( extbf{TPT}) module to adaptively aggregate local features regarding the structural relations, which takes advantage from both handcrafted rotation-invariant ({ extit{RI}}) features and noise-resilient spatial coordinates. extbf{3)} Based on a synergy of hierarchical graph networks and graphical modeling, we propose the {H}ierarchical {G}raphical {M}odeling ( extbf{HGM}) architecture to encode robust descriptors consisting of i) a unary term learned from { extit{RI}} features; and ii) multiple smoothness terms encoded from neighboring point relations at different scales through our TPT modules. Moreover, we construct a challenging PPR dataset ( extbf{MVP-RG}) based on the recent MVP dataset that features high-quality scans. Extensive experiments show that GMCNet outperforms previous state-of-the-art methods for PPR. Notably, GMCNet encodes point descriptors for each point cloud individually without using cross-contextual information, or ground truth correspondences for training. Our code and datasets are available at: https://github.com/paul007pl/GMCNet.

연구 동기 및 목표

• 실세계 시나리오에서 잡음이 많고 완전하지 않은 관측 조건 하에서 임의의 대규모 변환(SE(3))에 대한 부분-부분 포인트 클라우드 정렬(PPR) 문제를 해결하기 위해.
• 지상 진술 대응 관계나 소스 및 타겟 포인트 클라우드 간의 교차 맥락 정보에 의존하지 않고도 강력하고 자세에 강인한 포인트 기반 기술 특징을 학습하는 방법을 개발하기 위해.
• 수작업 기반 기하 특징(예: PPF, FPFH, RRI)에서의 회전 불변성과 노이즈 내성 간의 상호 보완적 특성 간의 트레이드오프를 조사하기 위해.
• 다양한 시점에서의 고품질 뷰 기반 부분 스캔으로 구성된 새로운 벤치마크 데이터셋 MVP-RG를 구축하여 전체 범위의 PPR를 보다 잘 평가할 수 있도록 하기 위해.
• 잡음, 부분성, 대규모 변환 등의 도전적인 조건 하에서 합성 및 실세계 PPR 벤치마크에서 최신 기술(SOTA) 성능을 달성하기 위해.

제안 방법

• 회전 불변(ri) 기하 특징과 노이즈에 강인한 공간 좌표를 모두 활용해 국소 특징을 적응적으로 집계하는 새로운 변환에 강인한 점 변환기(TPT) 모듈을 제안하여 대규모 변환과 노이즈에 대한 강건성을 향상시킨다.
• TPT 모듈을 통해 다양한 척도에서 이웃 점 관계의 스무스니스 항목을 포함한 단항 항(ri 특징에서 유래)을 포함하는 그래프 기반 아키텍처인 계층적 그래픽 모델링(HGM)을 도입하여 강력한 기술 특징을 인코딩한다.
• 명시적 대응 관계 감독 없이 국소 이웃 구조를 모델링하고 특징의 구분 능력을 향상시키기 위해 K-NN 그래프를 활용한다.
• 계층적 그래프 네트워크와 그래픽 모델링의 융합을 통해 장거리 구조적 의존성을 포착하고 PPR에서 대응 관계 추정 성능을 향상시킨다.
• 대응 관계 쌍에 대한 지도 없이 포인트 클라우드 데이터만을 사용해 네트워크를 엔드 투 엔드로 훈련하며, 자기지도 기반 기하 일관성에 의존한다.
• MVP 벤치마크에서 고품질 스캔을 다수의 시점에서 수집하여 실세계 부분-부분 정렬 시나리오를 시뮬레이션하는 MVP-RG 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 수작업 기반의 회전 불변(ri) 특징(예: PPF, FPFH, RRI)은 임의의 SE(3) 변환과 임의의 노이즈에 대해 얼마나 강건한가?
• RQ2 학습 가능한 특징 집계 모듈(TPT)이 ri 특징과 공간 좌표를 효과적으로 조합하여 전체 범위의 PPR에서 강건성을 향상시킬 수 있는가?
• RQ3 지상 진술 대응 관계가 없는 상황에서 계층적 그래프 기반 모델링 접근 방식(HGM)이 부분-부분 정렬의 대응 관계 추정 성능을 얼마나 향상시킬 수 있는가?
• RQ4 기존 최신 기술(SOTA) 방법들과 비교해 GMCNet은 실세계의 잡음이 많고 뷰 기반의 부분 포인트 클라우드 데이터에서 어떻게 성능을 내는가?
• RQ5 GMCNet은 명시적 대응 관계 감독 없이도 높은 노이즈, 부분성, 대규모 변환을 포함한 도전적인 PPR 시나리오에 일반화 가능한가?

주요 결과

• MVP-RG 데이터셋에서 GMCNet은 회전 오차 16.57°, 이동 오차 0.174, RMSE 0.246을 기록하여 DCP, IDAM, RPMNet, DeepGMR를 포함한 모든 이전 SOTA 방법들을 능가한다.
• ModelNet40(청결)에서 GMCNet은 회전 오차 14.69°, 이동 오차 0.149, RMSE 0.159를 기록하며, 400만 회 반복 RANSAC(14.69°, 0.149, 0.159) 및 기타 SOTA 방법들보다 뚜렷하게 뛰어난 성능을 보였다.
• 절단 실험 결과 TPT 및 HGM 구성 요소가 필수적임을 확인: 대규모 변환 하에서 ri 특징를 제거하면 훈련 실패가 발생하며, K-NN 그래프와 TPT 모듈이 성능 향상에 점진적으로 기여한다.
• GMCNet은 ModelNet40(청결) 및 MVP-RG에서 거의 모든 PPR 케이스를 성공적으로 해결했으며, 가장 잡음이 많은 부분 스캔를 제외한 모든 경우에서 이전 방법들을 능가했다.
• 연구 결과, 노이즈 하에서도 일관성 없을 수 있는 ri 특징는 제작된 진동 보정(augmentation)과 강력한 특징 학습과 조합될 경우 여전히 안정적인 기하적 단서를 제공할 수 있음을 입증했다.
• 제안된 MVP-RG 데이터셋은 부분성, 노이즈, 뷰 기반 스캔 등의 실세계적 과제를 효과적으로 반영하여 전체 범위의 PPR 방법에 대한 공정하고 현실적인 평가를 가능하게 했다.