[논문 리뷰] The Perfect Match: 3D Point Cloud Matching with Smoothed Densities

Žan Gojčič, Caifa Zhou외 2명|arXiv (Cornell University)|2018. 11. 16.

3D Surveying and Cultural Heritage참고 문헌 48인용 수 32

한 줄 요약

3DSmoothNet는 3차원 포인트 클라우드 기반의 시아모이즈 딥 러닝 아키텍처를 제안하며, 부드러운 밀도 값(SDV)과 국소 기준 프레임(LRF)을 사용하여 컴팩트하고 회전 불변성 있는 3차원 포인트 클라우드 기반 기능을 생성한다. 이는 32차원의 출력을 사용하여 3DMatch에서 평균 94.9%의 리콜을 달성하며, 포인트당 약 0.1ms의 근접 실시간 대응 검색을 가능하게 하고, 오직 실내 RGB-D 데이터로만 훈련되었음에도 불구하고 외부 레이저 스캔 데이터에 대해 효과적으로 일반화된다. 평균 79.0%의 리콜을 기록한다.

ABSTRACT

We propose 3DSmoothNet, a full workflow to match 3D point clouds with a siamese deep learning architecture and fully convolutional layers using a voxelized smoothed density value (SDV) representation. The latter is computed per interest point and aligned to the local reference frame (LRF) to achieve rotation invariance. Our compact, learned, rotation invariant 3D point cloud descriptor achieves 94.9% average recall on the 3DMatch benchmark data set, outperforming the state-of-the-art by more than 20 percent points with only 32 output dimensions. This very low output dimension allows for near realtime correspondence search with 0.1 ms per feature point on a standard PC. Our approach is sensor- and sceneagnostic because of SDV, LRF and learning highly descriptive features with fully convolutional layers. We show that 3DSmoothNet trained only on RGB-D indoor scenes of buildings achieves 79.0% average recall on laser scans of outdoor vegetation, more than double the performance of our closest, learning-based competitors. Code, data and pre-trained models are available online at https://github.com/zgojcic/3DSmoothNet.

연구 동기 및 목표

• 빠르고 정확한 포인트 클라우드 매칭을 가능하게 하는 컴팩트하고 회전 불변성 있는 3차원 국소 기능 기반 기능을 개발하는 것.
• 기존의 학습된 기능들에서 나타나는 센서 모odal 간 일반화 부족성과 높은 출력 차원성 문제를 해결하는 것.
• 다양한 데이터, 즉 실내 RGB-D 및 외부 레이저 스캔 데이터에서 잘 작동하는 센서 및 시나리오에 관계없는 방법을 만드는 것.
• 저차원이면서도 매우 기술적인 특징을 통해 근접 실시간 대응 검색을 가능하게 하는 것.

제안 방법

• 관심 점마다 계산된 바이얼라이제이션된 부드러운 밀도 값(SDV) 표현과 국소 기준 프레임(LRF)에 기반하여, 각 관심 점이 정렬되어 있어 회전 불변성을 확보한다.
• SDV는 각 관심 점의 구형 이웃 영역에 대해 가우시안 스무스닝 커널을 사용하여 계산되며, 이는 흐릿함을 줄이고 학습 중 기울기 흐름을 향상시킨다.
• 시아모이즈 3D 완전 컨볼루션 신경망은 3D SDV 바이얼라이제이션 격자(voxel grids)를 처리하여 16 또는 32차원의 출력을 가지는 컴팩트하고 매우 기술적인 국소 기능을 학습한다.
• 모델은 대조 손실(contrastive loss)을 사용하여 3DMatch 데이터에서 엔드 투 엔드로 훈련되며, 분류 가능한 기능 학습을 최적화한다.
• 입력 전처리 과정으로 3DMatch에 대해 1.5m 격자, 외부 ETH 데이터에 대해 1.5m 격자에 더 큰 구형 반경(W=1m)을 적용한다.
• 효율성을 고려하여 추론 및 최근접 이웃 검색 시간이 각각 포인트당 0.3ms, 0.1ms 이내로 설계되어 있다.

실험 결과

연구 질문

• RQ1 학습된 3차원 국소 기능 기반 기능이 최소한의 출력 차원성과 함께 높은 성능을 달성하면서도 회전 불변성을 유지할 수 있는가?
• RQ2 실내 RGB-D 데이터로만 훈련된 모델이 자연 환경의 외부 레이저 스캔 데이터에 얼마나 잘 일반화되는가?
• RQ3 원시 또는 비스무스닝된 격자화와 비교해 SDV 표현 방식이 훈련 안정성과 기능 품질을 어떻게 향상시키는가?
• RQ4 완전 컨볼루션 시아모이즈 네트워크 아키텍처가 정확도와 추론 속도 측면에서 기존 방법들을 초월할 수 있는가?
• RQ5 다양한 데이터셋에서 성능과 속도 측면에서 16차원 대비 32차원 기능 기반 기능의 상호 교환성은 어떠한가?

주요 결과

• 3DSmoothNet는 3DMatch 벤치마크에서 기존 최고 성능 기준보다 20个百分点 이상 높은 평균 94.9%의 리콜을 달성한다.
• 단지 32개의 출력 차원만으로도 표준 PC에서 포인트당 약 0.1ms의 근접 실시간 대응 검색을 가능하게 한다.
• 외부 레이저 스캔 데이터에 대해 효과적으로 일반화되며, ETH 데이터셋에서 평균 79.0%의 리콜을 기록하여 경쟁하는 학습 기반 방법들보다 두 배 이상 높은 성능을 보였다.
• 16차원 기능 기반 기능은 낮은 차원성에도 불구하고 ETH 데이터셋에서 평균 48.2%의 리콜을 달성하여 강력한 성능을 보였다.
• 기존 연구 대비 추론 시간(0.3ms 대비 3.7ms)과 최근접 이웃 검색 시간(0.1ms 대비 0.8ms)을 크게 줄였다.
• SDV 표현 방식은 훈련 안정성을 향상시키고 경계 효과를 감소시켜 기울기 흐름을 향상시키며, LRF 추정 오차에 대한 강건성을 높였다.