[논문 리뷰] RSKDD-Net: Random Sample-based Keypoint Detector and Descriptor

Fan Lü, Guang Chen외 3명|arXiv (Cornell University)|2020. 10. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 40인용 수 29

한 줄 요약

RSKDD-Net는 랜덤 샘플링과 새로운 랜덤 확장 클러스터 전략, 주의 메커니즘을 결합하여 정보 손실을 완화함으로써 대규모 포인트 클라우드에서 효율적인 키포인트 검출 및 기술자 생성을 위한 딥러닝 기반 방법이다. 약 15배 빠른 추론 속도를 기록하며 기존 방법보다 상태최저 성능을 달성하였고, 기술자 학습을 위해 약한 지도 학습 기반 매칭 손실을 사용한다.

ABSTRACT

Keypoint detector and descriptor are two main components of point cloud registration. Previous learning-based keypoint detectors rely on saliency estimation for each point or farthest point sample (FPS) for candidate points selection, which are inefficient and not applicable in large scale scenes. This paper proposes Random Sample-based Keypoint Detector and Descriptor Network (RSKDD-Net) for large scale point cloud registration. The key idea is using random sampling to efficiently select candidate points and using a learning-based method to jointly generate keypoints and descriptors. To tackle the information loss of random sampling, we exploit a novel random dilation cluster strategy to enlarge the receptive field of each sampled point and an attention mechanism to aggregate the positions and features of neighbor points. Furthermore, we propose a matching loss to train the descriptor in a weakly supervised manner. Extensive experiments on two large scale outdoor LiDAR datasets show that the proposed RSKDD-Net achieves state-of-the-art performance with more than 15 times faster than existing methods. Our code is available at https://github.com/ispc-lab/RSKDD-Net.

연구 동기 및 목표

• 기존 학습 기반 키포인트 검출기들이 색채도 추정 또는 가장 먼 점 샘플링(FPS)에 의존함으로써 대규모 포인트 클라우드에서 성능이 저하되는 문제를 해결하기 위해.
• 새로운 수용장역 확장 전략을 통해 정보 손실을 완화함으로써 랜덤 샘플링의 정확도와 강건성을 향상시키기 위해.
• 자율주행과 같은 실시간 응용 프로그램을 위해 종단 간 효율적인 방식으로 키포인트 검출과 기술자 생성을 동시에 학습하기 위해.
• 소프트 할당 기반의 미분 가능 매칭 손실을 도입하여 지도 없는 학습 기반 기술자 학습을 가능하게 하기 위해.

제안 방법

• 계산 비용이 높은 각 점의 색채도 추정 또는 FPS 대신 효율적인 후보 점 선택을 위해 랜덤 샘플링을 사용한다.
• 각 샘플된 점의 수용장역을 확장하기 위해 확장 기반 클러스터링을 활용한 새로운 랜덤 확장 클러스터 전략을 제안한다.
• 이웃 점들로부터의 위치 및 특징 정보를 주의 메커니즘을 통해 집계하여 키포인트 표현을 강화하고 색채도 불확실성을 추정한다.
• 기술자 네트워크는 클러스터 특징과 주의 맵을 사용하여 매칭에 적합한 강건한 기술자를 생성한다.
• 지난 점 대응 관계가 없는 포인트 클라우드 쌍만을 사용하여 소프트 할당 기반 매칭 손실을 도입하여 기술자 학습을 약한 지도 학습 방식으로 수행한다.
• 종단 간 학습을 위해 검출 및 매칭 목표를 조합하여 키포인트 검출과 기술자 학습을 공동 최적화할 수 있도록 네트워크를 학습한다.

실험 결과

연구 질문

• RQ1 대규모 포인트 클라우드에서 성능 저하 없이 랜덤 샘플링을 효과적으로 활용할 수 있는가?
• RQ2 랜덤 샘플링으로 인한 정보 손실을 어떻게 완화하여 높은 키포인트 검출 및 기술자 정확도를 유지할 수 있는가?
• RQ3 약한 지도 학습 기반 매칭 손실이 지도 없는 조건에서도 효과적인 기술자 학습을 가능하게 하는가?
• RQ4 제안된 랜덤 확장 클러스터 전략이 기존 클러스터링 또는 샘플링 방법에 비해 재현성 및 정밀도 측면에서 뛰어나게 성능을 내는가?
• RQ5 주의 메커니즘과 손실 설계가 기술자 일반화 능력 및 정합 성능에 어떤 영향을 미치는가?

주요 결과

• RSKDD-Net는 두 개의 대규모 실외 LiDAR 데이터셋에서 상태최저 성능을 기록하며, 재현성과 정밀도 측면에서 기존 방법을 크게 앞서며 성능을 뛰어나게 한다.
• 기존 학습 기반 방법보다 15배 이상 빠른 속도로 실행되어 자율주행과 같은 실시간 응용 프로그램에 적합하다.
• 랜덤 확장 클러스터 전략은 효과적인 수용장역을 크게 확장함으로써 재현성과 정밀도를 향상시키며, 일부 설정에선 DPC를 초월하고 다른 설정에선 동등한 성능을 기록한다.
• 주의 특징 맵의 도입으로 모든 키포인트 수(128, 256, 512)에서 정밀도가 약 0.1 증가하여 특징 집계의 효과성을 입증한다.
• 제안된 매칭 손실은 3DFeatNet에서 사용된 트리플릿 손실 대비 정밀도 측면에서 두 배 높은 성능을 보이며, 약한 지도 학습 조건 하에서도 뛰어난 일반화 능력을 보인다.
• 소프트 할당에서의 온도 하이퍼파rameter $ t $ 는 큰 영향을 미친다: $ t = 0.5 $ 는 열악한 성능을, $ t < 0.1 $ 는 안정된 결과를, 최적의 성능은 $ t = 0.1 $ 에서 달성된다.