[논문 리뷰] PRNet: Self-Supervised Learning for Partial-to-Partial Registration

Yue Wang, Justin Solomon|arXiv (Cornell University)|2019. 10. 27.

3D Shape Modeling and Analysis인용 수 112

한 줄 요약

PRNet은 부분-대-부분 점군 등록을 위한 자기지도적이고 반복적인 프레임워크를 도입합니다. 이는 Gumbel–Softmax와 액터–크리틱 스타일 모듈을 통해 핵심점, 대응, 그리고 강체 변환을 학습하며 합성 및 실제 데이터에서 최첨단 결과를 달성하고 분류로의 전이를 가능하게 만듭니다.

ABSTRACT

We present a simple, flexible, and general framework titled Partial Registration Network (PRNet), for partial-to-partial point cloud registration. Inspired by recently-proposed learning-based methods for registration, we use deep networks to tackle non-convexity of the alignment and partial correspondence problems. While previous learning-based methods assume the entire shape is visible, PRNet is suitable for partial-to-partial registration, outperforming PointNetLK, DCP, and non-learning methods on synthetic data. PRNet is self-supervised, jointly learning an appropriate geometric representation, a keypoint detector that finds points in common between partial views, and keypoint-to-keypoint correspondences. We show PRNet predicts keypoints and correspondences consistently across views and objects. Furthermore, the learned representation is transferable to classification.

연구 동기 및 목표

• 모양의 부분 집합만 보이는 부분-대-부분 점군 등록 문제를 다룬다.
• 레이블 데이터 없이 기하학 표현, 특징점 검출기, 그리고 특징점 대응을 학습하는 자기지도 프레임워크를 개발한다.
• 학습 기반의 강건함을 활용하면서 ICP와 유사한 반복적 거친-정밀 보정으로 정렬을 수행한다.
• 학습된 표현의 3D 형태 분류로의 전이 가능성을 입증한다.
• 3D 비전 및 등록 연구자를 위한 코드 공개를 통한 재현 가능한 접근법을 제공한다.

제안 방법

• 두 점군에 대한 공맥상 임베딩을 학습하기 위해 DGCNN과 Transformer를 이용하는 심층 네트워크를 사용한다.
• 학습된 특징의 L2 노름을 활용해 상호 공유된 핵심점을 탐지하고 top-k 포인트를 선택한다.
• Gumbel–Softmax 샘플러와 직통gradient 추정기를 사용해 핵심점-핵심점 대응을 예측한다.
• 응답 맵의 선명도를 제어하기 위해 비평가 같은 네트워크가 예측한 적응적 온도(lambda)를 도입한다.
• 감지된 핵심점들에 대해 Procrustes 정렬을 풀어 강체 변환 추정치를 얻는다.
• 각 단계에서 임베딩과 핵심점을 업데이트하며 PRNet을 반복적으로 적용해 정렬을 정교화한다.

실험 결과

연구 질문

• RQ1 PRNet은 전체 뷰 매칭이 없는 상태에서도 부분-대-부분 등록을 견고하게 수행할 수 있는가?
• RQ2 핵심점 탐지와 대응의 자기지도 학습이 분류와 같은 다운스트림 작업에 대해 전이 가능한 표현을 생성하는가?
• RQ3 매핑의 선명도를 적응적으로 조절하는 액터–크리틱에 영감을 받은 제어가 다양한 시야 조건에서 등록 정확도를 개선하는가?
• RQ4 부분-대-부분 설정에서 합성 및 실제 데이터에 대해 PRNet이 기존 방법 및 다른 학습 기반 등록 방법과 어떻게 비교되는가?

주요 결과

Model	MSE(R) ↓	RMSE(R) ↓	MAE(R) ↓	R2(R) ↑	MSE(t) ↓	RMSE(t) ↓	MAE(t) ↓	R2(t) ↑
ICP	1134.552	33.683	25.045	-5.696	0.0856	0.293	0.250	-0.037
Go-ICP [14]	195.985	13.999	3.165	-0.157	0.0011	0.033	0.012	0.987
FGR [61]	126.288	11.238	2.832	0.256	0.0009	0.030	0.008	0.989
PointNetLK [1]	280.044	16.735	7.550	-0.654	0.0020	0.045	0.025	0.975
DCP-v2 [2]	45.005	6.709	4.448	0.732	0.0007	0.027	0.020	0.991
PRNet (Ours)	10.235	3.199257	1.454	0.939	0.0003	0.016	0.010	0.997

• PRNet은 합성 데이터(ModelNet40) 및 실제 데이터에서 부분-대-부분 등록에 대해 tested 방법들 중 최첨단 성능을 달성하며 ICP, Go-ICP, FGR, PointNetLK, DCP-v2를 여러 지표에서 능가합니다.
• 방법의 학습된 핵심점과 대응은 뷰와 객체 간에도 일관되게 유지되어 신뢰할 수 있는 Procrustes 정렬을 가능하게 합니다.
• 적응적 Gumbel–Softmax와 예측된 온도(lambda)는 필요한 경우 대응의 선명도를 개선하여 더 정확한 강체 변환을 유도합니다.
• PRNet이 학습한 등록 표현은 ShapeNetCore 파생 임베딩에 대해 선형 SVM을 이용한 3D 형태 분류에서 경쟁력 있는 정확도로 전이됩니다.
• 실제 스캔에 대한 추론 시 미세 조정은 현실성 향상 및 실제 데이터에 대한 견고성을 보여줍니다.