[논문 리뷰] Coherent Point Drift Networks: Unsupervised Learning of Non-Rigid Point Set Registration

Wang, Lingjing, Li, Xiang외 2명|arXiv (Cornell University)|2019. 06. 07.

Robotics and Sensor-Based Localization참고 문헌 58인용 수 18

한 줄 요약

이 논문은 일괄적인 최적화 없이 단일 순방향 전파로 비정적 기하 변환을 예측할 수 있도록 학습하는 딥러닝 프레임워크인 Coherent Point Drift Networks (CPD-Net)를 제안한다. 이는 학습 가능한 연속적인 이동장(field)을 활용하며 이론적으로 연속성 보장을 받는다. CPD-Net은 2D/3D의 합성 및 실세계 데이터셋에서 실시간 추론을 구현하며 뛰어난 정확도와 일반화 능력을 확보한다. 기존의 반복 최적화 방법인 CPD에 비해 속도 면에서 수개의 주기 수준으로 뛰어나면서도 정렬 품질을 유지하거나 향상시킨다.

ABSTRACT

Given new pairs of source and target point sets, standard point set registration methods often repeatedly conduct the independent iterative search of desired geometric transformation to align the source point set with the target one. This limits their use in applications to handle the real-time point set registration with large volume dataset. This paper presents a novel method, named coherent point drift networks (CPD-Net), for the unsupervised learning of geometric transformation towards real-time non-rigid point set registration. In contrast to previous efforts (e.g. coherent point drift), CPD-Net can learn displacement field function to estimate geometric transformation from a training dataset, consequently, to predict the desired geometric transformation for the alignment of previously unseen pairs without any additional iterative optimization process. Furthermore, CPD-Net leverages the power of deep neural networks to fit an arbitrary function, that adaptively accommodates different levels of complexity of the desired geometric transformation. Particularly, CPD-Net is proved with a theoretical guarantee to learn a continuous displacement vector function that could further avoid imposing additional parametric smoothness constraint as in previous works. Our experiments verify the impressive performance of CPD-Net for non-rigid point set registration on various 2D/3D datasets, even in the presence of significant displacement noise, outliers, and missing points. Our code will be available at https://github.com/nyummvc/CPD-Net.

연구 동기 및 목표

• 매번 새로운 점집합 쌍에 대해 재최적화를 수행하는 반복적 점집합 정렬 방법의 계산적 병목 현상 해결
• 학습 데이터에서 일반화하여 이전에 보지 못한 점집합 쌍에 대한 기하 변환을 예측할 수 있는 딥러닝 기반 방법 개발
• 수작업으로 설정한 부드러움 제약 조건이 필요 없도록, 이론적으로 연속적인 이동장 보장을 통해 이를 제거
• 반복 최적화를 단일 신경망 추론으로 대체하여 대규모 또는 스트리밍 형태의 포인트 클라우드 데이터에 실시간 정렬을 가능하게 함

제안 방법

• CPD-Net은 다층퍼셉트론(MLP)을 사용해 소스 및 타겟 점집합에 대한 전역적 형태 기술자(global shape descriptors)를 학습한다.
• 소스 점 좌표와 소스 및 타겟 점집합의 전역 기술자를 연결하여 기하 변환 기술자를 구성한다.
• 세 개의 연속된 MLP를 통해 변환 기술자에서 연속적인 이동 벡터장(continuous displacement vector field)을 학습하며, 이는 입력 점 좌표와 전역적 맥락에 기반한 비정적 변형을 함수로 모델링한다.
• 변환된 소스 점집합과 타겟 점집합 간의 거리를 측정하는 미분 가능한 정렬 손실을 사용해 네트워크를 엔드 투 엔드로 훈련한다.
• 예측된 이동장의 이론적 연속성을 보장하기 위해 아키텍처가 설계되어, 명시적인 매개변수 기반 부드러움 정규화가 필요 없도록 한다.
• 훈련 중에 진짜 변환값이 필요 없이 정렬 손실만을 기반으로 비지도 방식으로 작동한다.

실험 결과

연구 질문

• RQ1 반복 최적화 없이 딥뉴럴 네트워크가 점집합 정렬을 위한 비정적 기하 변환을 예측할 수 있는가?
• RQ2 네트워크는 높은 정확도와 노이즈, 이방점, 누락 데이터에 대한 강건성으로 보이지 않은 점집합 쌍에 일반화할 수 있는가?
• RQ3 네트워크가 명시적인 부드러움 제약 조건 없이도 예측된 이동장이 연속성을 유지하는가?
• RQ4 CPD와 같은 반복 기반 기준과 비교해 대규모 데이터셋에서 실시간 추론을 달성할 수 있는가?

주요 결과

• 테스트 세트에서 CPD-Net은 Chamfer Distance (C.D.) 0.0028을 기록했으며, CPD의 0.0026과 유사한 성능을 보였지만, 800배 빠른 속도(20,000개 쌍 기준 15초 대비 22시간)를 기록했다.
• ShapeNet 체어 데이터셋에서 CPD-Net은 40초 내로 정렬을 완료했고, CPD는 4시간이 소요되었으며, 정성적 결과에서도 유의미하게 뛰어난 정렬 품질을 확보했다.
• 모델은 테스트 세트에서 훈련 세트와 거의 동일한 성능을 기록하며, 뛀난 일반화 능력을 보였다.
• 이론적 분석을 통해 CPD-Net이 연속적인 이동장을 학습함을 확인했으며, 이는 이전 방법에서 요구하던 수작업 부드러움 제약 조건의 필요성을 내재적으로 피하는 데 기여한다.
• 실세계 3D 형태에 대한 정성적 결과에서는 CPD가 실패하는 복잡한 비정적 변형을 CPD-Net이 성공적으로 정렬했으며, 진짜 변환값 없이도 가능했다.
• 다양한 2D 및 3D 데이터셋에서 높은 노이즈, 이방점, 누락된 점에 대해 강건성을 보이며 높은 정렬 정확도를 유지했다.