[논문 리뷰] DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF Relocalization

Juan Du, Rui Wang외 1명|arXiv (Cornell University)|2020. 07. 17.

Robotics and Sensor-Based Localization참고 문헌 9인용 수 9

한 줄 요약

이 논문은 한 번의 순방향 전파로 원시 포인트 클라우드로부터 3D 키포인트 검출, 국소적 특징 기술, 전역 기술자 추출을 통합적으로 수행하는 DH3D라는 통합된 딥러닝 프레임워크를 제안한다. FlexConv와 스que즈 앤 익스카이테이션(Squeeze-and-Excitation) 모듈을 통합함으로써, 미세조정 없이도 대규모 6DoF 재정렬 및 시각 SLAM 시스템에서 생성된 포인트 클라우드로의 일반화 성능에서 최신 기술 수준을 달성한다.

ABSTRACT

For relocalization in large-scale point clouds, we propose the first approach that unifies global place recognition and local 6DoF pose refinement. To this end, we design a Siamese network that jointly learns 3D local feature detection and description directly from raw 3D points. It integrates FlexConv and Squeeze-and-Excitation (SE) to assure that the learned local descriptor captures multi-level geometric information and channel-wise relations. For detecting 3D keypoints we predict the discriminativeness of the local descriptors in an unsupervised manner. We generate the global descriptor by directly aggregating the learned local descriptors with an effective attention mechanism. In this way, local and global 3D descriptors are inferred in one single forward pass. Experiments on various benchmarks demonstrate that our method achieves competitive results for both global point cloud retrieval and local point cloud registration in comparison to state-of-the-art approaches. To validate the generalizability and robustness of our 3D keypoints, we demonstrate that our method also performs favorably without fine-tuning on the registration of point clouds that were generated by a visual SLAM system. Code and related materials are available at https://vision.in.tum.de/research/vslam/dh3d.

연구 동기 및 목표

• 대규모 3D 재정렬에서 전역 장소 인식과 국소 6DoF 자세 보정을 통합적으로 수행하여 별도의 파이프라인 접근 방식의 한계를 극복한다.
• 노이즈, 회전, 다운샘플링에 대해 불변인 특성으로 원시 포인트 클라우드에서 직접 강력한 3D 국소 기술자를 학습한다.
• 학습 중에 국소 기술자의 분류 능력을 감독으로 사용하여 비지도 방식으로 키포인트 검출을 위한 분류 능력 신뢰도 맵을 학습한다.
• 다양한 대규모 환경에서 정확한 검색을 가능하게 하기 위해 분별력 있고 강건한 전역 기술자를 설계한다.
• LiDAR로 훈련된 기술자가 기하학적 분포가 다른 시각 SLAM 시스템에서 생성된 포인트 클라우드로의 일반화 성능을 검증한다.

제안 방법

• 공유 백본을 사용한 특징 인코딩을 통해 원시 포인트 클라우드로부터 3D 국소 특징 검출과 기술을 동시에 학습하는 시아모이 네트워크 아키텍처를 사용한다.
• 지역 포인트 이웃 영역에서 적응형 컨볼루션 커널을 학습함으로써 다중 수준 기하학적 맥락을 포착하기 위해 FlexConv를 적용한다.
• 국소 특징 인코더에 스케일 앤 익스카이테이션(SE) 블록을 통합하여 채널 간 의존성을 모델링하고 특징의 분별력을 향상시킨다.
• 국소 기술자의 분류 능력을 감독으로 사용하여 비지도 방식으로 키포인트 검출을 위한 신뢰도 맵을 종단 간(end-to-end)으로 예측한다.
• 강렬한 특징을 가중치 부여하는 어텐션 메커니즘을 통해 국소 기술자를 집계하여 전역 기술자를 생성한다.
• 국소 기술자 손실, 검출 신뢰도 손실, 전역 기술자 대비 손실의 조합을 사용하여 전체 파이프라인을 종단 간으로 훈련한다.

실험 결과

연구 질문

• RQ1 대규모 6DoF 재정렬을 위한 3D 키포인트 검출, 국소 기술자 기술, 전역 기술자 학습을 통합적으로 최적화할 수 있는 단일 딥 네트워크가 존재하는가?
• RQ2 FlexConv와 스케일 앤 익스카이테이션 모듈의 통합이 국소 기술자 품질과 강건성 향상에 얼마나 효과적인가?
• RQ3 기하학적 분포가 다른 시각 SLAM 시스템에서 생성된 포인트 클라우드로, LiDAR로 훈련된 모델이 얼마나 잘 일반화되는가?
• RQ4 기본 기술자의 분류 능력을 기반으로 한 비지도 키포인트 검출이 기존 수작업 또는 학습 기반 검출 방법보다 우수한가?
• RQ5 실세계 환경에서 노이즈, 회전, 다운샘플링에 대해 제안된 국소 및 전역 기술자가 얼마나 강건한가?

주요 결과

• Oxford RobotCar 데이터셋에서 DH3D는 회전 오차 0.95°와 이동 오차 0.23m를 기록했으며, 6DoF 정렬 성공률는 98.49%를 달성했다.
• KITTI 벤치마크에서 이 방법은 회전 오차 1.58°와 이동 오차 0.36m를 기록했으며, 성공률는 90.6%를 기록했고, 모든 베이스라인보다 시각 SLAM에서 생성된 포인트 클라우드에서 뛰어난 성능을 보였다.
• 절단 실험 결과에서 SE 블록을 제거할 경우 성공률가 29% 감소하여, 이들이 기술자 품질 향상에 중요한 역할을 한다는 것을 확인했다.
• 정규분포 노이즈(σ = 0.15m 이하)와 다운샘플링 인자(α = 1.5 이하) 조건에서도 90% 이상의 정렬 성공률를 유지하여 강력한 강건성을 입증했다.
• 전역 기술자는 노이즈에 대해 높은 강건성을 보였으며(σ = 0.2m 이하에서 성능 유지), 그러나 회전에 대해서는 덜 강건하여 회전 불변성 향상 여지가 있음을 시사했다.
• 미세조정 없이도 LiDAR로 훈련된 모델이 시각 SLAM 포인트 클라우드로 일반화되며, KITTI에서 90.6%의 성공률를 기록했고, 베이스라인들이 70% 이하로 떨어지는 것에 비해 뚜렷한 우수성을 보였다.