[논문 리뷰] 3DMatch: Learning the Matching of Local 3D Geometry in Range Scans.

Andy Zeng, Shuran Song외 3명|arXiv (Cornell University)|2016. 03. 27.

Robotics and Sensor-Based Localization참고 문헌 2인용 수 60

한 줄 요약

3DMatch는 키포인트 위치 주변의 누적 거리장(accumulated distance fields)을 사용하여 실제 3D 스캔 데이터로부터 기하학적 특징 표현과 거리 함수를 동시에 학습하는 딥러닝 기반 접근법을 제안한다. 이는 노이즈가 많고 부분적인 3D 데이터의 매칭에서 최신 기술을 능가하며, 3D 복원 작업에서 희소 밀도 조정(sparse bundle adjustment)의 강건성까지 향상시킨다.

ABSTRACT

Establishing correspondences between 3D geometries is essential to a large variety of graphics and vision applications, including 3D reconstruction, localization, and shape matching. Despite significant progress, geometric matching on real-world 3D data is still a challenging task due to the noisy, low-resolution, and incomplete nature of scanning data. These difficulties limit the performance of current state-of-art methods which are typically based on histograms over geometric properties. In this paper, we introduce 3DMatch, a data-driven local feature learner that jointly learns a geometric feature representation and an associated metric function from a large collection of real-world scanning data. We represent 3D geometry using accumulated distance fields around key-point locations. This representation is suited to handle noisy and partial scanning data, and concurrently supports deep learning with convolutional neural networks directly in 3D. To train the networks, we propose a way to automatically generate correspondence labels for deep learning by leveraging existing RGB-D reconstruction algorithms. In our results, we demonstrate that we are able to outperform state-of-the-art approaches by a significant margin. In addition, we show the robustness of our descriptor in a purely geometric sparse bundle adjustment pipeline for 3D reconstruction.

연구 동기 및 목표

• 노이즈가 많고, 해상도가 낮으며, 완전하지 않은 실제 범위 스캔에서 국소 3D 기하학을 매칭하는 문제에 대응한다.
• 히스토GRAM 기반 방법의 한계를 극복하기 위해 3D 데이터에서 직접 데이터 기반 기하 기반 기술자(data-driven geometric descriptors)를 학습한다.
• 딥 뉴럴 네트워크를 사용해 특징 표현과 매칭 거리 함수를 종단 간(end-to-end)으로 학습할 수 있도록 한다.
• 기존 RGB-D 복원 파이프라인을 활용해 자동으로 대응 레이블을 생성하는 학습 전략을 개발한다.
• 특히 희소 밀도 조정에서의 강건성과 정확도를 향상시켜 후속 3D 복원 작업의 성능을 개선한다.

제안 방법

• 키포인트 위치 중심의 누적 거리장을 사용해 3D 기하를 표현함으로써 노이즈와 부분적 데이터에 대한 강건성을 확보한다.
• 3D 컨볼루션 신경망을 활용해 거리장 표현을 3D 공간에서 직접 처리하여 특징 학습을 수행한다.
• 기존 RGB-D 복원 알고리즘에서 유도된 자기지도 학습(self-supervised) 대응 레이블을 사용해 네트워크를 학습한다.
• 특징 임bedding과 거리 함수를 동시에 최적화하여 실제 스캔 데이터에서의 매칭 성능을 향상시킨다.
• 수동 레이블링 없이도 일반화 가능한 기하 기반 특징을 학습하기 위해 대규모 실제 스캔 데이터를 활용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 노이즈와 불완전성으로 인해 손상된 실제 3D 스캔 데이터로부터 효과적인 국소 기하 기반 특징을 직접 학습할 수 있는가?
• RQ2 통합적으로 학습된 특징 표현과 거리 함수는 3D 매칭에서 수작업으로 설계된 히스토GRAM 기반 기술자보다 우수한 성능을 보일 수 있는가?
• RQ3 RGB-D 복원 파이프라인에서 자동으로 생성된 대응 레이블이 강력한 3D 매칭 네트워크를 학습하는 데 충분한가?
• RQ4 희소 밀도 조정을 사용하는 실제 3D 복원 파이프라인에서 제안된 방법은 어떻게 성능을 발휘하는가?
• RQ5 학습된 기술자가 다양한 스캔 조건과 기하 구조에 걸쳐 얼마나 일반화되는가?

주요 결과

• 3DMatch는 실제 스캔 데이터에서 최신 기술(SOTA)을 크게 능가하는 국소 3D 특징 매칭 성능을 보였다.
• 누적 거리장을 활용함으로써 노이즈, 낮은 해상도, 부분적 관측에도 불구하고 강건한 특징 학습이 가능했다.
• 희소 밀도 조정 파이프라인에서 뛰어난 성능을 발휘하여 3D 복원 정확도가 향상되었다.
• RGB-D 복원 알고리즘에서 유도된 대응 레이블을 사용한 자기지도 학습은 수동 레이블링 없이도 효과적인 학습을 가능하게 했다.
• 통합적으로 학습된 거리 함수는 특히 도전적인 기하 구조에서 매칭 신뢰도를 높였다.