[논문 리뷰] R2D2: Repeatable and Reliable Detector and Descriptor

Jérôme Revaud, Philippe Weinzaepfel외 5명|arXiv (Cornell University)|2019. 06. 14.

Robotics and Sensor-Based Localization참고 문헌 67인용 수 356

한 줄 요약

R2D2는 희소 키포인트 검출기와 로컬 디스크립터를 신뢰도 예측기와 함께 공동 학습하여 반복성과 구별 가능한 매칭을 모두 최적화하고, HPatches와 Aachen Day-Night에서 최첨단 결과를 얻었습니다.

ABSTRACT

Interest point detection and local feature description are fundamental steps in many computer vision applications. Classical methods for these tasks are based on a detect-then-describe paradigm where separate handcrafted methods are used to first identify repeatable keypoints and then represent them with a local descriptor. Neural networks trained with metric learning losses have recently caught up with these techniques, focusing on learning repeatable saliency maps for keypoint detection and learning descriptors at the detected keypoint locations. In this work, we argue that salient regions are not necessarily discriminative, and therefore can harm the performance of the description. Furthermore, we claim that descriptors should be learned only in regions for which matching can be performed with high confidence. We thus propose to jointly learn keypoint detection and description together with a predictor of the local descriptor discriminativeness. This allows us to avoid ambiguous areas and leads to reliable keypoint detections and descriptions. Our detection-and-description approach, trained with self-supervision, can simultaneously output sparse, repeatable and reliable keypoints that outperforms state-of-the-art detectors and descriptors on the HPatches dataset. It also establishes a record on the recently released Aachen Day-Night localization dataset.

연구 동기 및 목표

• 학습 디스크립터에서 키포인트 검출을 위해 반복성만을 사용하는 것의 한계를 제시한다.
• 디스크립터의 구분력(신뢰도)도 예측하는 공동 detector-descriptor 프레임워크를 제안한다.
• 비지도 학습 손실로 반복성과 희소성을 촉진하고, 디스크립터 매칭을 최적화하기 위한 리스트형 AP 기반 손실을 도입한다.
• HPatches 및 시각적 로컬라이제이션 벤치마크(Aachen Day-Night)에서 방법의 효과를 보여준다.

제안 방법

• 모든-합성곱 신경망을 사용하여 픽셀당 디스크립터 X, 반복성 열 지도 S, 디스크립터 신뢰도 맵 R를 출력한다.
• 이미지 변환 하에서 협공공변성 로컬 최대값과 로컬 피크를 촉진하는 자체 지도 반복성 손실로 S를 학습한다.
• 미분가능한 AP 손실로 디스크립터를 학습하되, 신뢰성 가중 목적 함수를 도입하여 고도로 구분력 있는 패치만 기여하도록 한다.
• 픽셀당 신뢰도 스코어 R를 제안하여 디스크립터 학습을 제어하고, 희소하고 신뢰할 수 있는 매치를 가능하게 한다.
• 테스트 시 S의 로컬 최대값에서 키포인트를 추출하고, 여러 스케일에 걸쳐 S·R의 곱으로 순위를 매겨 최종 특징 후보를 구성한다.
• 밀도 패치 비교와 확장 가능한 매칭을 가능하게 하는 효율적인 완전 합성곱 구현을 제공한다.

실험 결과

연구 질문

• RQ1 키포인트 반복성과 디스크립터 구분력을 하나의 프레임워크에서 함께 학습하는 방법은?
• RQ2 디스크립터의 신뢰도 예측기가 모호한 영역을 피하게 하여 매칭을 개선할 수 있는가?
• RQ3 비지도 반복성 손실이 높은 반복성과 함께 희소하고 균등하게 분포된 키포인트를 생성하는가?
• RQ4 표준 벤치마크(HPatches)와 실제 현장 로컬라이제이션 벤치마크(Aachen Day-Night)에서 R2D2 접근법의 성능은 어떠한가?

주요 결과

• 본 방법은 HPatches에서 최첨단 결과를 달성하며, 여러 지표에서 기존 검출기 및 디스크립터를 능가한다.
• 반복성과 디스크립터 신뢰성을 함께 학습하는 것이 각 구성요소 하나만 갖춘 변형들에 비해 성능을 크게 향상시킨다.
• 신뢰도 예측기는 매칭이 어려운 양상이지만 눈에 띄는 영역을 억제하는 데 도움을 주어 매칭 정확도와 로컬라이제이션 결과를 향상시킨다.
• Aachen Day-Night에서 적절한 구성의 R2D2는 시각적 로컬라이제이션 과제에서 경쟁 방법과 맞먹거나 이를 상회한다.
• 추론 연구는 반복성과 신뢰성을 분리하는 것이 검출기나 디스크립터 손실만 사용하는 것보다 더 나은 성능을 보인다는 것을 보여준다.