[논문 리뷰] 3D Point Cloud Registration with Multi-Scale Architecture and Unsupervised Transfer Learning

Sofiane Horache, Jean‐Emmanuel Deschaud외 1명|arXiv (Cornell University)|2021. 03. 26.

3D Shape Modeling and Analysis참고 문헌 55인용 수 29

한 줄 요약

본 논문은 빠르고 일반화 가능한 3D 포인트 클라우드 등록을 위한 다중 스케일 U-Net인 MS-SVConv와 새로운 데이터셋에 적응하는 비감독 전이 학습 방법 UDGE를 소개한다.

ABSTRACT

We propose a method for generalizing deep learning for 3D point cloud registration on new, totally different datasets. It is based on two components, MS-SVConv and UDGE. Using Multi-Scale Sparse Voxel Convolution, MS-SVConv is a fast deep neural network that outputs the descriptors from point clouds for 3D registration between two scenes. UDGE is an algorithm for transferring deep networks on unknown datasets in a unsupervised way. The interest of the proposed method appears while using the two components, MS-SVConv and UDGE, together as a whole, which leads to state-of-the-art results on real world registration datasets such as 3DMatch, ETH and TUM. The code is publicly available at https://github.com/humanpose1/MS-SVConv .

연구 동기 및 목표

• Ground-truth 포즈를 요구하지 않고 새로운 다양 데이터셋에 대해 딥러닝 기반 3D 포인트 클라우드 등록의 일반화 문제를 해결한다.
• 다중 스케일 희소 보셀 컨볼루션(MS-SVConv)을 활용한 빠르고 일반화 가능한 디스크립터 계산 아키텍처를 제안한다.
• 사전 학습된 모델을 보지 못하는 unseen 데이터셋에 적응시키기 위한 데이터 생성 기반의 비감독 전이 학습 전략 UDGE를 도입한다.
• 감독 및 비감독 전이 설정에서 real-world 데이터셋(3DMatch, ETH, TUM)에서 최첨단 혹은 강하게 경쟁력 있는 결과를 보여준다.

제안 방법

• 포 MS-SVConv: 다중 보셀 스케일에서 작동하는 포인트 클라우드에 대해 공유된 다중 스케일 U-Net 기반 디스크립터 추출기로서, 스케일별 다운샘플링과 최종 MLP 융합을 통해 포인트 디스크립터를 생성한다.
• 희소 컨볼루션을 사용하여 효율성을 유지하고 대규모 포인트 클라우드를 처리할 수 있게 한다.
• 경험적으로 구분 가능한 디스크립터를 학습하기 위해 하드 네거티브 컨트라스트ive 손실을 사용한다(양성 및 음성 매치를 포함).
• UDGE를 도입: 단일 구름에서 두 개의 부분 뷰를 생성하는 데이터 생성 기반의 비감독 전이 학습으로(크롭 및 주기적 샘플링을 통해) 타깃 데이터셋으로의 전이를 가능하게 한다.
• 전이 동안 소스 데이터셋(예: ModelNet 또는 3DMatch)에서 사전 학습을 수행하고 타깃 데이터셋에서 UDGE를 적용하여 지도 없이 디스크립터를 적응시킨다.

Figure 1 : Summary of the proposed method. We can use MS-SVConv for supervised training on a huge dataset, and then we can transfer it in an unsupervised fashion on a smaller dataset.

실험 결과

연구 질문

• RQ1 다중 스케일 U-Net 디스크립터 아키텍처가 다양한 실제 데이터셋 간의 등록 일반화를 향상시킬 수 있는가?
• RQ2 데이터 생성 기반의 비감독 전이 학습(UDGE)이 ground-truth 포즈 없이도 사전 학습된 디스크립터의 unseen 데이터셋에 대한 효과적인 적응을 가능하게 하는가?
• RQ3 도전적인 데이터셋(ETH, TUM, 3DMatch)에서 다중 스케일 MS-SVConv만 사용하는 경우와 UDGE와 결합한 경우의 성능 향상은 어떠한가?

주요 결과

• MS-SVConv가 세 개의 heads(세 스케일)로 구성된 경우 3DMatch에서 FMR을 기존 방법 대비 우수하게 달성하며, 하나의 테스트 설정에서 최고의 이전 방법보다 98.4% 대 97.5%를 기록한다.
• 다중 스케일 MS-SVConv는 단일 스케일 변형에 비해 일반화를 크게 향상시키며, 특히 대칭 테스트가 적용될 때 그 차이가 커진다.
• ETH에서 UDGE 기반의 전이(UAGE)로 FMR이 최첨단에 도달하고(예: MS-SVConv(3) 후 UDGE로 98.9%), SRE도 경쟁력 있으며 패치 기반 방법보다 현저히 빠르다.
• 합성 데이터 소스(ModelNet)에서의 MS-SVConv 사전 학습과 UDGE를 결합하면 대상 데이터의 ground-truth 포즈 없이 ETH, TUM, 3DMatch에서 강력한 결과를 얻는다.
• 다중 스케일 아키텍처와 UDGE 간 시너지가 존재하며 더 많은 heads를 사용할수록 FMR에서 추가 이익이 나타난다(MS-SVConv(3) vs. MS-SVConv(1)).
• 타깃 데이터셋이 작더라도 UDA 기반 전이는 여전히 효과적이며, 합성 혹은 다른 실제 데이터 소스에서의 감독 사전 학습이 존재하는 경우에 한한다.

Figure 2 : Architecture of the proposed Multi-Scale Sparse Voxel Convolution (MS-SVConv) for registration. The point cloud is downsampled at each scale with a grid subsampling that increases the side length of the voxel by 2 each time.