[논문 리뷰] Non-Rigid Point Set Registration Networks

Wang, Lingjing, Chen Jian-chun외 2명|arXiv (Cornell University)|2019. 04. 02.

3D Shape Modeling and Analysis참고 문헌 26인용 수 33

한 줄 요약

PR-Net은 학습 데이터로부터 등록 패턴을 학습하여 보지 못한 점 집합에 대해 비강체(non-rigid) 변환을 직접 예측하고, 반복 최적화 없이 빠르고 견고한 등록을 달성합니다.

ABSTRACT

Point set registration is defined as a process to determine the spatial transformation from the source point set to the target one. Existing methods often iteratively search for the optimal geometric transformation to register a given pair of point sets, driven by minimizing a predefined alignment loss function. In contrast, the proposed point registration neural network (PR-Net) actively learns the registration pattern as a parametric function from a training dataset, consequently predict the desired geometric transformation to align a pair of point sets. PR-Net can transfer the learned knowledge (i.e. registration pattern) from registering training pairs to testing ones without additional iterative optimization. Specifically, in this paper, we develop novel techniques to learn shape descriptors from point sets that help formulate a clear correlation between source and target point sets. With the defined correlation, PR-Net tends to predict the transformation so that the source and target point sets can be statistically aligned, which in turn leads to an optimal spatial geometric registration. PR-Net achieves robust and superior performance for non-rigid registration of point sets, even in presence of Gaussian noise, outliers, and missing points, but requires much less time for registering large number of pairs. More importantly, for a new pair of point sets, PR-Net is able to directly predict the desired transformation using the learned model without repetitive iterative optimization routine. Our code is available at https://github.com/Lingjing324/PR-Net.

연구 동기 및 목표

• 대규모 데이터 세트에서의 빠르고 실시간 비강체 점 집합 등록의 동기를 제시한다.
• 쌍 간에 등록 패턴을 전달하는 학습 기반 프레임워크를 제안한다.
• 불규칙한 점 구름에 적합한 형태 서술자(shape descriptor)와 상관 표현을 개발한다.
• 노이즈, 이상치, 불완전 데이터에 대한 강인함을 입증하면서 계산 시간을 단축한다.

제안 방법

• 점 집합 위의 기준 격자에서 학습된 형태 서술자 텐서를 도입하여 국지적/전역 기하를 포착한다.
• 원천 및 대상 서술자 간의 모든-대-모든 점별 상관 관계로 형태 상관 텐서를 정의한다.
• 2D/3D CNN을 사용해 형태 상관 텐서를 변환 파라미터로 매핑한다(고정/비강체는 TPS 기반 모델로).
• Chamfer Distance와 Gaussian Mixture Model(GMM) 우도를 통해 변환된 소스를 대상과 비교하는 통계적 정합 손실을 채택한다.
• Adam 옵티마이저로 엔드-투-엔드 학습을 수행하고, GMM/σ 매개변수를 점진적으로 어닐링하여 거친-정밀(coarse-to-fine) 스킴을 사용한다.
• 참고 격자, MLP 층 차원, 네트워크 아키텍처 세부 사항을 포함한 학습 설정을 기술한다.

실험 결과

연구 질문

• RQ1 학습 기반 모델이 반복 최적화 없이 보지 못한 점 집합에 대해 직접 비강체 변환을 예측할 수 있는가?
• RQ2 점 구름의 불규칙한 구조를 학습 등록 패턴에 대해 효과적으로 표현할 수 있는가?
• RQ3 노이즈, 이상치, 불완전성 하에서 강인한 정합을 가능하게 하는 표현들(형태 서술자 및 상관 텐서)은 무엇인가?
• RQ4 속도와 정확도 측면에서 PR-Net은 전통적인 비학습 등록 방법과 어떻게 비교되는가?

주요 결과

• PR-Net은 학습 후 새로운 점 집합 쌍에 대해 기하학적 변환을 직접 예측할 수 있어 쌍별 최적화를 피한다.
• 10k 쌍의 2D 물고기 점 집합에서, PR-Net은 약 13분에 학습하고 약 8초에 테스트하며 Chamfer Distance는 CPD와 비슷하다(학습 0.0037, 테스트 0.0044, CPD 약 0.0038).
• 변형 수준이 약 1.0까지일 때도 Chamfer Distance를 낮게 유지한다(예: 2D 물고기에서 변형 0.3–1.0일 때 CD ≈ 0.015–0.016).
• 데이터 불완전성, 점 이동, 이상치에 대해 강인함을 보이며 CD가 높은 노이즈/결여 수준까지도 낮음을 유지한다(예: D.I.까지 0.6, D.O.까지 0.3).
• CPD 기준선과 비교해 등록 속도가 크게 빨라지며(초대 vs 수 시간) 일반화가 더 안정적이고 CD 표준편차가 더 작다.
• 본 방법은 2D/3D 형태(손, 해골, 두개골, 얼굴, 고양이) 전반에 걸쳐 중등 변형 하에서 일관된 성능으로 일반화된다.