[논문 리뷰] D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features

Xuyang Bai, Zixin Luo외 4명|arXiv (Cornell University)|2020. 03. 06.

Robotics and Sensor-Based Localization참고 문헌 38인용 수 27

한 줄 요약

D3Feat는 KPConv 기반의 완전 컨volution 네트워크를 사용하여 밀도 높은 3D 국소 특징 검출 및 기술을 공동 학습하는 프레임워크를 제안한다. 이는 엔드 투 엔드로 빠른 추론을 가능하게 하며, 밀도에 영향을 받지 않는 关건점 선택 전략과 실시간 특징 매칭을 기반으로 한 자기 지율적 검출 손실을 도입하여, 3DMatch 및 KITTI에서 최신 기술 수준의 성능을 달성한다. 특히 적은 수의 관건점 사용 시 높은 재현성과 정확도를 보인다.

ABSTRACT

A successful point cloud registration often lies on robust establishment of sparse matches through discriminative 3D local features. Despite the fast evolution of learning-based 3D feature descriptors, little attention has been drawn to the learning of 3D feature detectors, even less for a joint learning of the two tasks. In this paper, we leverage a 3D fully convolutional network for 3D point clouds, and propose a novel and practical learning mechanism that densely predicts both a detection score and a description feature for each 3D point. In particular, we propose a keypoint selection strategy that overcomes the inherent density variations of 3D point clouds, and further propose a self-supervised detector loss guided by the on-the-fly feature matching results during training. Finally, our method achieves state-of-the-art results in both indoor and outdoor scenarios, evaluated on 3DMatch and KITTI datasets, and shows its strong generalization ability on the ETH dataset. Towards practical use, we show that by adopting a reliable feature detector, sampling a smaller number of features is sufficient to achieve accurate and fast point cloud alignment.[code release](https://github.com/XuyangBai/D3Feat)

연구 동기 및 목표

• 3D 특징 검출기와 기술기의 학습 불균형 문제를 해결하기 위해 두 구성 요소를 공동으로 훈련하는 것.
• 3D 포인트 클라우드에서의 밀도 변화로 인한 관건점 검출 편향 문제를 해결하기 위해 밀도 변화에 강인한 방법 개발.
• 지식 기반 관건점 앵커티드 없이도 실시간 특징 매칭을 활용해 검출기 학습을 지도 없이 유도할 수 있는 자기 지율적 손실 개발.
• 공유된 완전 컨볼루션 아키텍처를 통해 검출 점수와 기술 기반의 밀도 높은 예측을 빠르게 수행할 수 있도록 하는 것.
• 내부(3DMatch) 및 외부(KITTI, ETH) 데이터셋 간의 강력한 일반화 성능을 입증하며 최소한의 관건점 샘플링으로도 성능 확보.

제안 방법

• 비정형 3D 포인트 클라우드를 직접 처리할 수 있도록 KPConv 기반의 완전 컨볼루션 네트워크를 사용하여 각 점에 대해 검출 점수와 특징 기술을 밀도 높게 예측한다.
• 다양한 포인트 밀도 영역에서도 일관된 관건점 선택을 보장하기 위해 새로운 밀도에 영향을 받지 않는 중요도 점수를 계산한다.
• 훈련 중 실시간 특징 매칭의 신뢰도를 활용해 검출 점수 예측을 유도하는 자기 지율적 검출 손실을 도입한다.
• 검출 및 기술 헤드 간에 가중치를 공유하여 이중 브랜치 아키텍처 없이도 효율적인 공동 추론을 가능하게 한다.
• 밀도에 영향을 받지 않는 중요도 변환을 적용한 후 검출 점수의 국소 최대값을 통해 관건점을 선별한다.
• 특징 기술 대비 손실과 제안된 자기 지율적 검출 손실을 조합한 복합 손실을 통해 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 분리된 훈련 방식에 비해 3D 특징 검출 및 기술의 공동 학습이 정렬 정확도 향상에 기여하는가?
• RQ2 3D 포인트 클라우드의 밀도 변화에 강인한 관건점 검출 방법은 무엇인가?
• RQ3 지식 기반 관건점 앵커티드 없이도 실시간 특징 매칭을 기반으로 한 자기 지율적 손실이 검출기 학습을 효과적으로 유도할 수 있는가?
• RQ4 공유된 완전 컨볼루션 아키텍처는 패치 기반 또는 이중 브랜치 네트워크보다 더 빠르고 효율적인 추론을 가능하게 하는가?
• RQ5 제안된 방법은 내부 및 외부 환경을 포함한 다양한 3D 데이터셋에 일반화 가능한가?

주요 결과

• D3Feat는 3DMatch 데이터셋에서 최신 기술 수준의 성능을 달성하여 검출 및 기술 품질 모두에서 이전 방법들을 능가한다.
• KITTI 데이터셋에서 D3Feat는 강력한 일반화 성능을 보이며, 관건점 수가 적은 경우에도 뛰어난 성능을 기록하고, 대부분의 베이스라인보다 관건점 재현성에서 뛰어난 성능을 보였다.
• 제안된 자기 지율적 검출 손실은 수렴을 가능하게 하고, 관건점 신뢰도를 향상시켜 D3Feat(base) 베이스라인 대비 더 높은 재현성을 확보하였다.
• 밀도에 영향을 받지 않는 관건점 선택 전략은 특히 희박한 영역에서 재현성을 크게 향상시켜 낮은 밀도 영역으로의 편향을 줄였다.
• 단지 64개의 관건점만을 사용하여도, 더 많은 관건점을 사용하는 방법들보다 높은 정렬 정확도를 달성하여 학습된 검출기의 효과성을 입증하였다.
• 시각화 결과는 D3Feat가 다양한 환경, 특히 복잡한 내부 및 외부 환경에서 더 더러운, 재현 가능한 관건점을 효과적으로 검출함을 확인하였다.