[논문 리뷰] Unsupervised Learning of 3D Point Set Registration

Lingjing Wang, Li Xiang외 1명|arXiv (Cornell University)|2020. 06. 11.

3D Shape Modeling and Analysis참고 문헌 34인용 수 11

한 줄 요약

이 논문은 지도 학습이 필요 없는 3D 포인트 클라우드 정렬을 위한 딥 러닝 프레임워크인 Deep-3DAligner를 제안한다. 이는 명시적인 특징 인코더나 상관관계 모듈 없이, 학습 가능한 공간 상관관계 표현(SCR) 특징을 직접 최적화하여 기하학적 변환(회전 및 이동)을 추정한다. ModelNet40에서 최신의 지도 학습 기반 방법들과 경쟁 가능한 성능을 달성하며, 가우시안 노이즈, 이상치, 누락된 점 등에 대해서도 강건성을 보이며, 진짜 레이블 없이도 우수한 성능을 발휘한다.

ABSTRACT

Point cloud registration is the process of aligning a pair of point sets via searching for a geometric transformation. Recent works leverage the power of deep learning for registering a pair of point sets. However, unfortunately, deep learning models often require a large number of ground truth labels for training. Moreover, for a pair of source and target point sets, existing deep learning mechanisms require explicitly designed encoders to extract both deep spatial features from unstructured point clouds and their spatial correlation representation, which is further fed to a decoder to regress the desired geometric transformation for point set alignment. To further enhance deep learning models for point set registration, this paper proposes Deep-3DAligner, a novel unsupervised registration framework based on a newly introduced deep Spatial Correlation Representation (SCR) feature. The SCR feature describes the geometric essence of the spatial correlation between source and target point sets in an encoding-free manner. More specifically, our method starts with optimizing a randomly initialized latent SCR feature, which is then decoded to a geometric transformation (i.e., rotation and translation) to align source and target point sets. Our Deep-3DAligner jointly updates the SCR feature and weights of the transformation decoder towards the minimization of an unsupervised alignment loss. We conducted experiments on the ModelNet40 datasets to validate the performance of our unsupervised Deep-3DAligner for point set registration. The results demonstrated that, even without ground truth and any assumption of a direct correspondence between source and target point sets for training, our proposed approach achieved comparative performance compared to most recent supervised state-of-the-art approaches.

연구 동기 및 목표

• 딥 러닝 기반 3D 포인트 클라우드 정렬 기술이 대규모 진짜 레이블에 의존하는 데서 비롯되는 한계를 해결하기 위해.
• 모델 복잡성을 증가시키는 수작업 특징 인코더와 상관관계 모듈이 필요 없도록 제거하기 위해.
• 공간 상관관계 표현과 변환 복원을 동시에 최적화하는 엔드 투 엔드의 비지도 학습 프레임워크를 개발하기 위해.
• 지도 학습 없이도 노이즈, 이상치, 누락된 점에 강건한 성능을 발휘하도록 하기 위해.
• 일반화 가능한 기하학적 변환 사전을 학습함으로써 다양한 포인트 클라우드 쌍 간에 지식을 이식 가능하게 하기 위해.

제안 방법

• 원천과 타겟 포인트 클러스터 간 기하학적 관계를 인코딩하지 않는 방식으로, 기하학적 관계를 인코딩하는 학습 가능한, 미분 가능한 공간 상관관계 표현(SCR) 특징을 도입한다.
• SCR 특징을 레이어 기반 신경망을 통해 강체 변환 매개변수(회전 R 및 이동 t)로 매핑하는 변환 복원 네트워크를 제안한다.
• 학습 중에 변환된 원천 포인트 클러스터와 타겟 포인트 클러스터 간 유사도를 측정하기 위해 캄퍼 거리 기반 정렬 손실을 사용한다.
• 진짜 변환 레이블에 의존하지 않고, 비지도 목적 함수를 사용하여 백프로파게이션을 통해 SCR 특징과 복원 네트워크 가중치를 동시에 최적화한다.
• SCR 최적화 과정의 입력으로서 원천 및 타겟 집합 간의 점 간 상대적 위치 텐서(N×3)를 사용한다.
• 추론 시에는 훈련된 복원 네트워크를 고정하고, 새로운 포인트 클러스터 쌍에 대해 오직 SCR 특징만 최적화함으로써 빠르고 일반화 능력이 뛰어난 정렬을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한, 미분 가능한 공간 상관관계 표현(SCR)이 3D 포인트 클러스터 정렬에서 명시적인 특징 인코더와 상관관계 모듈을 대체할 수 있는가?
• RQ2 지난한 변환 레이블 없이도 비지도 딥 러닝 프레임워크가 경쟁 가능한 정렬 정확도를 달성할 수 있는가?
• RQ3 가우시안 노이즈, 이상치, 누락된 점과 같은 도전적인 조건에서 제안된 방법의 성능은 어떠한가?
• RQ4 SCR와 변환 복원 네트워크의 동시 최적화가 R과 t를 직접 최적화하는 것보다 더 나은 일반화 성능을 보이는가?
• RQ5 제안된 프레임워크는 미세조정 없이도 다양한 포인트 클러스터 쌍 간에 일반화 가능한가?

주요 결과

• Deep-3DAligner는 ModelNet40에서 경쟁 가능한 성능을 달성하였으며, MSE(R) = 16.5751 및 MAE(R) = 1.3631로, 일부 지표에서 지도 학습 기반 DCP 기준선을 초월하였다.
• 0.6 D.O. 노이즈 조건에서도 강력한 성능 유지를 보였으며, 높은 이상치 비율에도 불구하고 약 절반의 테스트 케이스를 성공적으로 정렬하였다.
• 직접 최적화 방법과의 직접 비교에서, Deep-3DAligner는 MSE(R) = 1.1544를 기록한 반면, 직접 최적화 방법은 406.13을 기록하여, 학습된 사전 지식의 필요성을 입증하였다.
• 청정 조건에서 MSE(t) = 0.000444 및 MAE(t) = 0.014533으로 낮은 오차를 기록하며, 가우시안 노이즈, 이상치, 누락된 점에 대해 강건함을 입증하였다.
• 절단 분석 결과, 제안된 SCR 표현과 다층 복원 네트워크가 필수적임을 확인하였으며, R과 t에 대한 직접 최적화는 타당한 해에 수렴하지 못함을 보였다.
• 모델은 효과적인 전이 학습을 가능하게 하였으며, 재학습 없이도 훈련된 복원 네트워크가 새로운 포인트 클러스터 쌍에 일반화되어 적용됨을 확인하였다.