[논문 리뷰] USIP: Unsupervised Stable Interest Point Detection from 3D Point Clouds

Jiaxin Li, Gim Hee Lee|arXiv (Cornell University)|2019. 03. 30.

3D Shape Modeling and Analysis참고 문헌 39인용 수 18

한 줄 요약

이 논문은 지도 학습 없이도 임의의 SE(3) 변환 하에서 높은 반복성과 정확한 국소화를 보장하는 3D 포인트 클라우드에서의 비지도 학습 기반 3D 키포인트 검출기인 USIP을 제안한다. 특징 제안 네트워크를 사용하며, 무작위로 변환된 포인트 클라우드 쌍에 대해 확률적 챔퍼 손실과 포인트 간 손실을 함께 최적화함으로써, 반복성, 특징성, 속도 측면에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

In this paper, we propose the USIP detector: an Unsupervised Stable Interest Point detector that can detect highly repeatable and accurately localized keypoints from 3D point clouds under arbitrary transformations without the need for any ground truth training data. Our USIP detector consists of a feature proposal network that learns stable keypoints from input 3D point clouds and their respective transformed pairs from randomly generated transformations. We provide degeneracy analysis of our USIP detector and suggest solutions to prevent it. We encourage high repeatability and accurate localization of the keypoints with a probabilistic chamfer loss that minimizes the distances between the detected keypoints from the training point cloud pairs. Extensive experimental results of repeatability tests on several simulated and real-world 3D point cloud datasets from Lidar, RGB-D and CAD models show that our USIP detector significantly outperforms existing hand-crafted and deep learning-based 3D keypoint detectors. Our code is available at the project website. https://github.com/lijx10/USIP

연구 동기 및 목표

• 임의의 변환 하에서도 반복성이 확보되는 효과적인 3D 키포인트 검출기가 부족한 문제를 해결하기 위해.
• 수작업으로 설계된 검출기의 한계를 극복하기 위해, 기하학적 불변성과 시점 변화에 대한 강건성이 떨어지는 문제를 해결하기 위해.
• 약속된 키포인트 데이터가 필요 없는 딥 러닝 기반 검출기를 개발하여, 임의의 변환을 적용한 합성 데이터에서 학습이 가능하도록 하기 위해.
• 기존 포인트들 중에서 선택하는 것이 아니라, 키포인트 위치를 회귀함으로써 국소화 정확도를 향상시키기 위해.
• 이론적 분석과 완화 전략을 통해 학습 중 붕괴를 방지하고 네트워크 안정성을 확보하기 위해.

제안 방법

• 3D 포인트 클라우드로부터 키포인트 좌표와 중요도 점수를 회귀하는 특징 제안 네트워크(FPN)를 제안하여, 이산적인 포인트들 중에서 선택하는 것보다 더 정밀한 서브바oxel 국소화를 가능하게 한다.
• 임의의 SE(3) 변환을 통해 생성된 변환된 3D 포인트 클라우드 쌍을 사용하여 FPN을 학습함으로써, 회전 및 이동에 대해 불변성을 확보한다.
• 검출된 키포인트 간의 거리를 최소화함으로써 반복성을 향상시키는 확률적 챔퍼 손실을 도입한다.
• 검출된 키포인트가 입력 포인트 클라우드 근처에 위치하도록 제약을 주는 포인트 간 손실을 통합하여 국소화 정확도를 향상시킨다.
• 붕괴 분석을 수행하고, 정규화 및 손실 가중치 조정과 같은 전략을 통해 학습 중 붕괴를 방지하는 해결책을 제안한다.
• 지도 없는 학습을 통해 합성 데이터에서만 학습하며, 이로 인해 완전히 비지도 학습이 가능하고 실제 3D 데이터에 적용 가능하다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 3D 키포인트 검출기가 지도 학습 없이도 임의의 SE(3) 변환 하에서 높은 반복성을 달성할 수 있는가?
• RQ2 기존 포인트 클라우드의 포인트들 중에서 선택하는 것 외에, 어떻게 키포인트 국소화 정확도를 향상시킬 수 있는가?
• RQ3 비지도 3D 키포인트 검출기 학습에 효과적인 손실 함수는 무엇인가? 반복성과 국소화 정밀도를 극대화하기 위해.
• RQ4 자기 지도 학습 기반 3D 키포인트 검출에서 네트워크 붕괴를 어떻게 진단하고 방지할 수 있는가?
• RQ5 제안된 검출기는 LiDAR, RGB-D, CAD 모델 등 다양한 3D 데이터 유형에 일반화될 수 있으며, 다양한 기술자와 함께 효과적으로 작동하는가?

주요 결과

• USIP는 깊이 기반 기술자와 조합했을 때 KITTI 데이터셋에서 가장 낮은 등록 실패율(0.24%)과 가장 높은 인라이어 비율(28.0%)을 기록하여, 다른 모든 검출기들을 압도한다.
• 최적의 설정을 통해 USIP는 KITTI에서 실패율을 0.24%로 줄이고 인라이어 비율을 28.0%로 높여, 3DFeatNet(0.57% 실패율, 12.9% 인라이어 비율)을 크게 능가한다.
• USIP는 3DFeatNet 및 기타 검출기보다 10배 이상 빠르며, 평균적으로 1개의 포인트 클라우드에서 128개의 키포인트를 추출하는 데 약 0.011초가 소요된다.
• 확률적 챔퍼 손실은 시뮬레이션 및 실제 데이터셋에서 광범위한 반복성 테스트를 통해, 다양한 변환 하에서도 키포인트의 반복성을 효과적으로 유도하는 것으로 입증되었다.
• USIP는 ModelNet40(CAD), Redwood(RGB-D), Oxford RobotCar 및 KITTI(LiDAR) 데이터셋을 포함한 다양한 데이터 모odalities에 대해 강력한 일반화 성능을 보였다.
• 저조도, 풍부한 노이즈, 희박한 기하학적 구조를 가진 도전적인 RGB-D 데이터셋에서도 심한 다운샘플링과 노이즈에 대해 강건하게 유지되어 높은 성능을 기록했다.