[논문 리뷰] Deep Closest Point: Learning Representations for Point Cloud Registration

Yue Wang, Justin Solomon|arXiv (Cornell University)|2019. 05. 08.

3D Shape Modeling and Analysis참고 문헌 53인용 수 120

한 줄 요약

Deep Closest Point (DCP) 는 포인트 클라우드 임베딩을 학습하고 주의 기반 매칭 모듈과 미분 가능한 SVD를 사용해 강체 변환을 예측하며, ModelNet40에서 ICP 및 여러 baselines보다 우수한 성능을 보임.

ABSTRACT

Point cloud registration is a key problem for computer vision applied to robotics, medical imaging, and other applications. This problem involves finding a rigid transformation from one point cloud into another so that they align. Iterative Closest Point (ICP) and its variants provide simple and easily-implemented iterative methods for this task, but these algorithms can converge to spurious local optima. To address local optima and other difficulties in the ICP pipeline, we propose a learning-based method, titled Deep Closest Point (DCP), inspired by recent techniques in computer vision and natural language processing. Our model consists of three parts: a point cloud embedding network, an attention-based module combined with a pointer generation layer, to approximate combinatorial matching, and a differentiable singular value decomposition (SVD) layer to extract the final rigid transformation. We train our model end-to-end on the ModelNet40 dataset and show in several settings that it performs better than ICP, its variants (e.g., Go-ICP, FGR), and the recently-proposed learning-based method PointNetLK. Beyond providing a state-of-the-art registration technique, we evaluate the suitability of our learned features transferred to unseen objects. We also provide preliminary analysis of our learned model to help understand whether domain-specific and/or global features facilitate rigid registration.

연구 동기 및 목표

• 고전적 ICP를 넘어서는 강건한 강체 정합의 필요성 부여 — 로컬 최적해를 피하기 위함.
• 두 포인트 클라우드 간의 신뢰할 수 있는 대응점을 예측하는 학습 기반 파이프라인 개발.
• ModelNet40에서 ICP, Go-ICP, FGR, 및 PointNetLK에 대해 엔드투엔드 성능 평가.
• 학습된 임베딩의 로컬 vs 글로벌 특징의 역할 및 보지 못한 객체로의 일반화 가능성 조사.

제안 방법

• PointNet 또는 DGCNN을 사용해 포인트 클라우드를 공통 특성 공간에 임베딩.
• Transformer 기반의 주의 모듈을 도입해 클라우드 간 맥락 정보를 융합.
• 임베딩에 대한 소프트맥스의 확률적 가중치를 통해 포인트 간 소프트하고 미분 가능한 대응(포인터) 생성.
• 소프트 대응으로부터 미분 가능한 SVD 레이어로 강체 변환 복원.
• 회전과 병진 오차를 결합한 SE(3) 손실로 합성 쌍에서 엔드투엔드 학습.
• 임베딩 선택, MLP 대 SVD, 및 임베딩 차원수 등에 대한 제거 실험 가능.

실험 결과

연구 질문

• RQ1 학습된 포인트별 임베딩이 고전 ICP 대비 3D 포인트 클라우드 정합의 강건성과 정확성을 향상시킬 수 있는가?
• RQ2 어텐션 기반의 공동 맥락 임베딩이 두 클라우드 간 대응점을 개선하는가?
• RQ3 소프트 대응에서 강체 변환을 복원하는 데 미분 가능한 SVD 레이어가 이점이 있는가?
• RQ4 로컬(DGCNN) 대 글로벌(PointNet) 특징이 정합 성능 및 일반화에 어떤 영향을 미치는가?
• RQ5 학습된 특징이 보지 못한 카테고리로 전이되며 잡음에 대한 강건성을 유지하는가?

주요 결과

모델	MSE(R)	RMSE(R)	MAE(R)	MSE(t)	RMSE(t)	MAE(t)
ICP	894.897339	29.914835	23.544817	0.084643	0.290935	0.248755
Go-ICP [53]	140.477325	11.852313	2.588463	0.000659	0.025665	0.007092
FGR [57]	87.661491	9.362772	1.999290	0.000194	0.013939	0.002839
PointNetLK [16]	227.870331	15.095374	4.225304	0.000487	0.022065	0.005404
DCP-v1 (ours)	6.480572	2.545697	1.505548	0.000003	0.001763	0.001451
DCP-v2 (ours)	1.307329	1.143385	0.770573	0.000003	0.001786	0.001195

• DCP-v1은 ModelNet40 테스트에서 보지 못한 데이터에서도 ICP, Go-ICP, FGR, 및 PointNetLK를 이미 능가한다.
• DCP-v2가 주의 기반으로 더 정확한 정합 성능을 향상시킨다.
• DCP는 가우시안 노이즈에 대한 강건성을 유지하며, 잡음이 심한 설정에서 경쟁자들을 능가한다.
• 초기화 단계로 DCP를 사용하면 ICP가 전역 최적점으로 수렴하도록 만들어 폴리싱 단계 역할을 할 수 있다.
• 실험 중 ablations에서 DGCNN 기반 로컬 특징과 SVD 기반 강체 모션 추정기가 성능 향상에 기여하며 임베딩 차원과 아키텍처 선택이 결과에 영향을 준다.