[논문 리뷰] FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators

Haiping Wang, Yuan Liu외 5명|arXiv (Cornell University)|2023. 10. 05.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

FreeReg는 사전 훈련된 확산 모델과 단안 깊이 추정기의 활용을 통해 교차 모odal 간 거리 학습을 회피함으로써 이미지와 포인트 클라우드 간의 등장 특징을 통합하는 새로운 이미지-포인트 클라우드 정렬 방법을 제안한다. 작업 특화 훈련 없이도 최신 기술 수준의 성능을 달성하며, 공개 벤치마크에서 정상 비율을 20.6% 향상시키고 정렬 재현율을 48.6% 향상시킨다.

ABSTRACT

Matching cross-modality features between images and point clouds is a fundamental problem for image-to-point cloud registration. However, due to the modality difference between images and points, it is difficult to learn robust and discriminative cross-modality features by existing metric learning methods for feature matching. Instead of applying metric learning on cross-modality data, we propose to unify the modality between images and point clouds by pretrained large-scale models first, and then establish robust correspondence within the same modality. We show that the intermediate features, called diffusion features, extracted by depth-to-image diffusion models are semantically consistent between images and point clouds, which enables the building of coarse but robust cross-modality correspondences. We further extract geometric features on depth maps produced by the monocular depth estimator. By matching such geometric features, we significantly improve the accuracy of the coarse correspondences produced by diffusion features. Extensive experiments demonstrate that without any task-specific training, direct utilization of both features produces accurate image-to-point cloud registration. On three public indoor and outdoor benchmarks, the proposed method averagely achieves a 20.6 percent improvement in Inlier Ratio, a three-fold higher Inlier Number, and a 48.6 percent improvement in Registration Recall than existing state-of-the-arts.

연구 동기 및 목표

• 이상적인 모달 간 차이로 인해 발생하는 이미지와 포인트 클라우드 간 강건한 교차 모달 특징 매칭 문제를 해결하기 위해.
• 기존의 거리 학습 기반 방법의 한계를 극복하기 위해, 수렴이 불량하고 일반화 능력이 제한된 점을 해결하기 위해.
• 대규모 사전 훈련된 모델의 중간 특징을 통해 모달을 통합함으로써 제로샷 이미지-포인트 클라우드 정렬을 가능하게 하기 위해.
• 확산 모델의 의미 특징과 단안 깊이 추정기의 기하 특징을 융합하여 대응 정확도를 향상시키기 위해.
• 이미지-포인트 클라우드 정렬 작업에 대해 미세조정 없이도 사전 훈련된 모델을 직접 사용할 경우 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 깊이-이미지 확산 모델(예: ControlNet)을 사용해 깊이 맵에서 이미지 유사 특징을 생성함으로써 이미지와 포인트 클라우드 간 의미적으로 일관된 특징을 생성한다.
• 사전 훈련된 확산 모델의 인코더에서 RGB 이미지와 포인트 클라우드에서 유도된 깊이 맵에 대해 중간 확산 특징을 추출한다.
• 이러한 의미 특징을 사용해 근접한 이웃 매칭기와 상호 확인 기법을 적용하여 거친 교차 모달 대응 관계를 수립한다.
• 단안 깊이 추정기(예: Zoe-Depth)를 활용해 RGB 이미지에서 거리 맵을 예측함으로써 기하 특징 추출을 가능하게 한다.
• 예측된 깊이 맵에서 기하 특징을 추출하고, 포인트 클라우드에서 유도된 깊이 맵의 특징과 매칭한다.
• 결과로 생성된 희박한 의미 대응과 조밀한 기하 대응을 융합하여 정확하고 조밀한 픽셀-포인트 대응 관계를 생성한다.

Figure 1: Left : FreeReg unifies the modalities of images and point clouds, which enables mono-modality matching to build cross-modality correspondences. Right : FreeReg does not require any training on the I2P task and is able to register RGB images to point clouds in both indoor and outdoor scenes

실험 결과

연구 질문

• RQ1 사전 훈련된 확산 모델의 중간 특징에서의 의미 일관성이 거리 학습 없이도 강건한 교차 모달 대응을 가능하게 할 수 있는가?
• RQ2 단안 깊이 추정이 확산 특징을 통해 수립된 거친 대응의 정확도를 향상시킬 수 있는가?
• RQ3 오직 사전 훈련된 모델만을 사용하는 제로샷 접근 방식이 이미지-포인트 클라우드 정렬에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 의미 특징과 기하 특징의 융합이 다양한 실내 및 실외 환경에서 정렬 정확도에 어떤 영향을 미치는가?
• RQ5 Kabsch 또는 PnP를 사용한 자세 추정 시, 깊이 추정 품질이 최종 정렬 성능에 어떤 영향을 미치는가?

주요 결과

• FreeReg는 세 가지 공개 벤치마크에서 기존 최신 기술 수준의 방법보다 평균 20.6% 높은 정상 비율과 48.6% 높은 정렬 재현율을 달성한다.
• 이 방법은 평균적으로 정상 대응 수를 3.0배로 증가시켜 대응 품질 향상의 뚜렷한 성과를 보여준다.
• KITTI-DC 데이터셋에서 Kabsch 추정을 사용할 경우, 느슨한 기준(10°, 4m)에서 80.1%의 정렬 재현율을 기록하며 이전 방법들을 능가한다.
• 단지 확산 특징만을 사용하는 FreeReg-D는 3DMatch에서 74.2%의 정렬 재현율을 기록하며, LCD나 I2P-Matr와 같은 완전히 지도 학습된 기준보다 뛰어난 성능을 보였다.
• 확산 특징과 기하 특징의 융합은 작은 겹침, 큰 시점 변화, 희박한 포인트 클라우드와 같은 도전적인 상황에서도 조밀하고 정확한 대응을 가능하게 한다.
• FreeReg는 강력한 단모달 정렬 능력을 보이며, ScanNet에서 87.9%의 정렬 재현율과 3DMatch에서 94.7%의 정렬 재현율을 기록하여 대부분의 설정에서 FCGF와 I2P-Matr를 능가한다.

Figure 2: To unify the modalities of point clouds (PCs) and images, I : a straightforward way is to generate RGB images from point clouds by depth-to-image diffusion models. However, the generated images usually have large appearance differences from the query images. II : We find that the intermedi