[논문 리뷰] R2D2: Reliable and Repeatable Detectors and Descriptors for Joint Sparse Keypoint Detection and Local Feature Extraction

Jérôme Revaud, Philippe Weinzaepfel외 5명|arXiv (Cornell University)|2019. 06. 14.

Robotics and Sensor-Based Localization인용 수 7

한 줄 요약

R2D2는 자기지도 학습을 통해 신뢰성 있고 반복 가능한 키포인트 검출 및 국소 기술자 기술을 위한 통합 학습 프레임워크를 제안한다. 학습 중 기술자 구별성 예측을 통해 모호한 영역을 회피함으로써 HPatches에서 최신 기준 성능을 달성하고, Aachen Day-Night 데이터셋에서는 새로운 기록을 수립한다.

ABSTRACT

Interest point detection and local feature description are fundamental steps in many computer vision applications. Classical methods for these tasks are based on a detect-then-describe paradigm where separate handcrafted methods are used to first identify repeatable keypoints and then represent them with a local descriptor. Neural networks trained with metric learning losses have recently caught up with these techniques, focusing on learning repeatable saliency maps for keypoint detection and learning descriptors at the detected keypoint locations. In this work, we argue that salient regions are not necessarily discriminative, and therefore can harm the performance of the description. Furthermore, we claim that descriptors should be learned only in regions for which matching can be performed with high confidence. We thus propose to jointly learn keypoint detection and description together with a predictor of the local descriptor discriminativeness. This allows us to avoid ambiguous areas and leads to reliable keypoint detections and descriptions. Our detection-and-description approach, trained with self-supervision, can simultaneously output sparse, repeatable and reliable keypoints that outperforms state-of-the-art detectors and descriptors on the HPatches dataset. It also establishes a record on the recently released Aachen Day-Night localization dataset.

연구 동기 및 목표

• 기존의 검출-기술파이pline이 키포인트 검출과 기술자 기술을 별개의 수작업 기반 과정으로 다루는 데서 비롯하는 한계를 해결하기 위해.
• 주의를 기울여야 할 영역이 구별성이 없을 수 있으며, 이는 기술자 품질을 떨어뜨릴 수 있다는 문제를 해결하기 위해.
• 매칭이 높은 신뢰도로 수행될 수 있는 영역에서만 기술자를 학습시켜 신뢰성을 향상시키기 위해.
• 검출, 기술자 기술, 그리고 구별성 예측을 동시에 최적화하는 자기지도 학습 방법을 개발하기 위해.
• 기존 방법보다 우수한 성능을 보이는 희소성, 반복 가능성, 그리고 신뢰성 있는 키포인트를 달성하기 위해.

제안 방법

• 모델은 후보 영역 각각에 대해 키포인트 위치, 국소 기술자, 그리고 구별성 점수를 동시에 예측한다.
• 기하학적 일관성을 이미지 쌍 간에 활용하여 학습을 이끄는 자기지도 학습 목표 함수를 사용한다.
• 구별성 예측기는 신뢰도 필터 역할을 하여 모호하거나 저대비 영역의 특징을 억제한다.
• 엔드 투 엔드 최적화를 통해 희소성, 반복 가능성, 고품질 기술자를 갖춘 키포인트를 생성하도록 네트워크 아키텍처를 설계한다.
• 검출, 기술자 기술, 그리고 구별성 예측 목표를 통합한 다중 작업 손실을 최소화하는 방식으로 학습을 수행한다.
• 모든 구성 요소를 엔드 투 엔드 방식으로 통합 학습함으로써 수작업 기반 특징에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 검출과 기술자를 통합 학습시키면 별개의 파이pline 대비 신뢰성과 반복 가능성에서 향상되는가?
• RQ2 학습 중 기술자 구별성을 예측함으로써 특징 품질과 매칭 성능이 향상되는가?
• RQ3 annotation이 필요한 키포인트 데이터에 의존하지 않고도 자기지도 학습 방식이 최신 기준 성능을 달성할 수 있는가?
• RQ4 시야각 변화 및 조명 변화가 큰 도전적인 벤치마크에서 이 방법은 어떻게 성능을 내는가?
• RQ5 낮은 구별성 영역을 걸러내는 것이 전체 매칭 정확도 향상에 얼마나 기여하는가?

주요 결과

• R2D2는 HPatches 데이터셋에서 검출 및 기술자 기능 모두에서 최신 기준 성능을 달성하여 이전 방법들을 능가한다.
• 이 방법은 Aachen Day-Night 로컬라이제이션 벤치마크에서 새로운 기록을 수립하여 도전적인 조건에서도 강력한 일반화 능력을 보여준다.
• 기술자 구별성 예측을 통해 R2D2는 모호한 영역을 효과적으로 회피하여 더 신뢰할 수 있는 키포인트 검출을 달성한다.
• 검출, 기술자 기술, 그리고 구별성 예측의 통합 최적화는 반복 가능성과 매칭 정확도 향상에 기여한다.
• 자기지도 학습을 통해 모델은 annotation이 필요한 키포인트 데이터 없이도 고품질 특징을 학습할 수 있다.
• 이 방법은 다양한 시각 조건에서 효과적인 희소성, 반복 가능성, 그리고 신뢰성 있는 키포인트를 생성한다.