[논문 리뷰] D2-Net: A Trainable CNN for Joint Detection and Description of Local Features

Mihai Dusmanu, Ignacio Rocco외 5명|arXiv (Cornell University)|2019. 05. 09.

Advanced Image and Video Retrieval Techniques인용 수 74

한 줄 요약

D2-Net은 밀집 피처 맵을 사용하여 키포인트를 동시에 검출하고 로컬 특징을 설명하는 단일 학습 가능한 CNN을 제시하며, 도전적인 위치 추정 벤치마크에서 최첨단 성능을 달성하고 매칭 및 3D 작업에서도 경쟁력 있는 결과를 보입니다.

ABSTRACT

In this work we address the problem of finding reliable pixel-level correspondences under difficult imaging conditions. We propose an approach where a single convolutional neural network plays a dual role: It is simultaneously a dense feature descriptor and a feature detector. By postponing the detection to a later stage, the obtained keypoints are more stable than their traditional counterparts based on early detection of low-level structures. We show that this model can be trained using pixel correspondences extracted from readily available large-scale SfM reconstructions, without any further annotations. The proposed method obtains state-of-the-art performance on both the difficult Aachen Day-Night localization dataset and the InLoc indoor localization benchmark, as well as competitive performance on other benchmarks for image matching and 3D reconstruction.

연구 동기 및 목표

• 조명 변화, 약한 텍스처, 모션 블러 등 도전적인 영상 조건에서 강력한 픽셀 수준 대응의 필요성을 제시한다.
• 반복성 및 매칭 효율성을 향상시키기 위해 밀집 디스크립터와 키포인트 검출을 함께 제공하는 단일 CNN을 제안한다.
• 추가 주석 없이 학습하기 위해 대규모 SfM 재구성으로부터의 픽셀 대응을 활용한다.
• Aachen Day-Night 및 InLoc에서 최첨단 위치 추정 성능을 보여주고, 이미지 매칭 및 3D 재구성 결과에서도 경쟁력을 입증한다.

제안 방법

• 디스크립터와 검출기로 모두 작용하는 밀집 피처 맵을 CNN으로 계산한다 (describe-and-detect).
• 디스크립터는 각 픽셀에서의 n-채널 피처 벡터이며 매칭을 위해 L2 정규화된다.
• 검출은 피처 맵 채널 간의 로컬 최댓값으로, 소프트하고 미분 가능한 채널 선택 및 소프트 로컬-최댓값 점수를 가진다.
• 다중 스케일 검출은 스케일 융합 및 응답 게이팅이 있는 이미지 피라미드를 통해 달성되어 스케일 간 재감지를 피한다.
• 학습은 디스크립터의 구별성 및 키포인트 반복성을 함께 최적화하는 확장된 트립렛 마진 랭킹 손실을 사용하며, 소프트 검출 점수로 가중치를 둔다.
• 테스트 시, 마지막 풀링을 교체하고 확장 합성곱을 적용하는 등 아키텍처 조정을 통해 메모리/계산량을 줄인다(키포인트 위치를 정교화).

실험 결과

연구 질문

• RQ1 단일 CNN이 검출기와 디스크립터로 모두 작용하여 도전적인 조명 및 시점 변화 하에서 강력하고 반복 가능한 키포인트를 생산할 수 있는가?
• RQ2 검출을 디스크립터 피처 맵으로 미루는 것이 전통적인 detect-then-describe 파이프라인에 비해 매칭 정확도와 위치 추정 성능에 어떤 영향을 미치는가?
• RQ3 밀집하고 학습 가능한 디스크립터가 키포인트 검출과 함께 표준 벤치마크(Aachen Day-Night, InLoc, HPatches)에서 경쟁력 있거나 우수한 성능을 달성하면서 SfM/위치 추정 파이프라인에 실용적일 수 있는가?

주요 결과

Method	# Features	# Matches
Hes. det. + RootSIFT	6.7 K	2.8 K
HAN + HN++ [36,35]	3.9 K	2.0 K
LF-Net [39]	0.5 K	0.2 K
SuperPoint [13]	1.7 K	0.9 K
DELF [38]	4.6 K	1.9 K
D2 SS (ours)	3.0 K	1.2 K
D2 MS (ours)	4.9 K	1.7 K
D2 SS Trained (ours)	6.0 K	2.5 K
D2 MS Trained (ours)	8.3 K	2.8 K

• HPatches 기반 평가에서 6.5 픽셀 이상의 임계치에서 이미지 매칭에 대한 전반적인 최상의 성능을 달성하며, 다수의 detect-then-describe 벤치마스를 능가한다.
• 도전적인 위치 추정 작업에서 D2-Net은 Aachen Day-Night에서 최첨단 결과를 얻고 InLoc에서 강력한 성능을 보이며, 종종 포즈 정확도에서 밀집 및 희소 기법보다 더 우수한 성능을 보이면서도 일부 밀집 방법보다 더 적은 특징 수나 메모리를 사용한다.
• Table 1의 결과는 방법 간 경쟁력 있는 특징 수와 매치 수를 보여주며, D2 MS 및 변형들이 높은 매칭 품질을 달성한다(D2 SS Trained 및 D2 MS Trained 변형).
• describe-and-detect 접근법은 낮/낮과 같이 섬세하지 않은 텍스처 환경에서도 강건한 대응을 제공하며, 전통적 검출기와 비교했을 때 단일 포인트 위치의 정밀도가 떨어지더라도 reasonable한 위치 추정 및 SfM 성능을 유지한다.