[논문 리뷰] SpinNet: Learning a General Surface Descriptor for 3D Point Cloud Registration

Sheng Ao, Qingyong Hu외 3명|arXiv (Cornell University)|2020. 11. 24.

3D Surveying and Cultural Heritage참고 문헌 61인용 수 15

한 줄 요약

SpinNet은 3차원 국소 특징 기술자에 공간 포인트 트랜스포머를 사용하여 점군을 실린더 공간으로 매핑함으로써 SO(2) 동치성을 확보하고, 포인트 기반 MLP와 3차원 실린더형 컨볼루션을 활용한 신경망 특징 추출기를 적용한다. 이는 회전 불변성을 확보하며 최신 기술 수준의 성능과 뛰어난 일반화 능력을 달성하여, 오직 실내 3DMatch 데이터만으로 훈련한 후에도 실외 ETH 데이터에서 92.8%의 특징 매칭 재현율을 달성한다.

ABSTRACT

Extracting robust and general 3D local features is key to downstream tasks such as point cloud registration and reconstruction. Existing learning-based local descriptors are either sensitive to rotation transformations, or rely on classical handcrafted features which are neither general nor representative. In this paper, we introduce a new, yet conceptually simple, neural architecture, termed SpinNet, to extract local features which are rotationally invariant whilst sufficiently informative to enable accurate registration. A Spatial Point Transformer is first introduced to map the input local surface into a carefully designed cylindrical space, enabling end-to-end optimization with SO(2) equivariant representation. A Neural Feature Extractor which leverages the powerful point-based and 3D cylindrical convolutional neural layers is then utilized to derive a compact and representative descriptor for matching. Extensive experiments on both indoor and outdoor datasets demonstrate that SpinNet outperforms existing state-of-the-art techniques by a large margin. More critically, it has the best generalization ability across unseen scenarios with different sensor modalities. The code is available at https://github.com/QingyongHu/SpinNet.

연구 동기 및 목표

• 딥러닝 기반 점군 정렬에서 회전 불변성과 일반화 능력을 갖춘 3차원 국소 기술자 부족 문제를 해결하기 위해.
• 대표성에 한계가 있는 수작업 특징(예: 포인트 쌍 통계 또는 국소 기준 프레임)에 의존하는 것을 제거하여 표현 능력을 향상시키기 위해.
• 노이즈, 불완전한 표면 및 다양한 포인트 밀도 조건 하에서도 국소 기하 패턴을 유지하는 엔드 투 엔드 학습 가능한 네트워크를 설계하기 위해.
• 실내 3DMatch에서 실외 ETH 또는 KITTI 데이터셋으로의 다양한 센서 모달리티와 기하 분포를 가진 새로운 환경으로의 일반화 능력을 향상시키기 위해.

제안 방법

• 공간 포인트 트랜스포머가 입력 3차원 점군을 기준 축으로 정렬하여 SO(2) 동치성을 강제로 확보하고 회전 변동성을 감소시킨다.
• XY 평면에 구형 바이트라이앵귤레이션을 적용한 후, 각 바이트의 회전 변동성을 추가로 제거하기 위해 좌표 변환을 수행한다.
• 변환된 국소 표면을 3차원 실린더형 볼륨으로 구조화하여 3차원 실린더형 컨볼루션 레이어에 적합하게 만든다.
• 포인트 기반 MLP가 실린더형 볼륨 내 각 바이트의 초기 서명을 추출하여 국소 기하 세부 정보를 캡처한다.
• 새로운 3차원 실린더형 컨볼루션 네트워크(3DCCN)가 바이트 간 공간적 및 맥락적 정보를 집계하여 압축되고 대표적인 기술자를 생성한다.
• 전체 파ip라인은 엔드 투 엔드로 학습되어 수작업 구성 요소 없이 기술자의 최적화를 실현한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 3차원 국소 기술자 기술자가 외부 수작업 특징이나 국소 기준 프레임에 의존하지 않고도 회전 불변성을 달성할 수 있는가?
• RQ2 학습된 기술자가 다른 센서 모달리티와 기하 분포를 가진 새로운 3차원 데이터셋으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ3 수작업 특징(예: 포인트 밀도)을 학습된 포인트 기반 서명으로 대체할 경우 일반화 능력과 내성 강도가 향상되는가?
• RQ4 3차원 실린더형 컨볼루션 레이어가 공간적 구조를 유지하고 매칭 정확도를 향상시키는 데 기여하는 정도는 어떠한가?
• RQ5 공간 변환과 엔드 투 엔드 학습의 조합이 본문에서 다루는 볼 수 있는 및 볼 수 없는 점군 정렬 작업 전반에서 성능을 향상시키는 방식은 무엇인가?

주요 결과

• 3DMatch 데이터셋에서 0.1cm 임계값으로 97.6%의 특징 매칭 재현율(FMR)을 기록하여 이전 최신 기술 수준 방법보다 뚜렷이 뛰어나다.
• 미사용된 실외 ETH 데이터셋에서 τ₁ = 0.1cm 조건에서 92.8%의 FMR을 달성하여 다음으로 우수한 방법보다 13% 향상된 성능을 보였다.
• 3DMatch에서 KITTI 데이터셋으로 일반화할 경우, 69.19%의 성공률을 기록하여 두 번째로 우수한 방법의 성능을 두 배 이상 상회했다.
• 절단 실험 결과, 기준 축 정렬 또는 구형 바이트라이앵귤레이션 변환을 제거할 경우 성능이 급격히 떨어지며, 특히 기울인 스캔에서 두드러진다.
• 3차원 실린더형 컨볼루션 레이어를 단순한 MLP로 대체할 경우 3DMatch에서 FMR은 64.4%로 떨어지고 ETH에서는 0.0%로 떨어지며, 공간적 맥락 학습의 핵심적 역할을 확인할 수 있다.
• 수작업된 포인트 밀도가 아닌 학습된 포인트 기반 서명을 사용할 경우 일반화 능력 향상이 이루어지며, 밀도를 사용할 경우 ETH에서 FMR이 42.6%로 떨어지며 학습된 특징의 중요성을 입증한다.