[논문 리뷰] LoFTR: Detector-Free Local Feature Matching with Transformers

Jiaming Sun, Zehong Shen외 3명|arXiv (Cornell University)|2021. 04. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 42인용 수 75

한 줄 요약

LoFTR은 트랜스포머의 자기- 및 교차- 주의를 사용하여 밀집 대응을 구축하는 탐지기 없는 밀집 로컬 특징 매칭을 제안하며, 자세 추정 및 시각적 로컬라이제이션에서 최첨단 성능을 달성합니다. 이는 거칠은-정교한 보정과 효율성을 위한 선형-트랜스포머 변형을 이용합니다.

ABSTRACT

We present a novel method for local image feature matching. Instead of performing image feature detection, description, and matching sequentially, we propose to first establish pixel-wise dense matches at a coarse level and later refine the good matches at a fine level. In contrast to dense methods that use a cost volume to search correspondences, we use self and cross attention layers in Transformer to obtain feature descriptors that are conditioned on both images. The global receptive field provided by Transformer enables our method to produce dense matches in low-texture areas, where feature detectors usually struggle to produce repeatable interest points. The experiments on indoor and outdoor datasets show that LoFTR outperforms state-of-the-art methods by a large margin. LoFTR also ranks first on two public benchmarks of visual localization among the published methods.

연구 동기 및 목표

• 전통적인 탐지기 기반 매칭의 반복성 문제를 탐지기 단계를 제거하고 밀집 매칭을 직접 수행함으로써 회피한다.
• 트랜스포머의 글로벌 수용 영역을 활용하여 저질감이나 반복된 영역에서 신뢰할 수 있는 매치를 생성한다.
• 확장성을 위한 효율적 주의 기법을 갖춘 거칠은-정교한 매칭 파이프라인을 도입한다.
• 실내 및 실외 데이터셋에서 상대 자세 추정과 시각적 로컬라이제이션에 대해 최첨단 성능을 입증한다.

제안 방법

• 이미지 쌍에서 CNN 백본과 FPN으로 거친( coarse ) 및 세밀한 로컬 특징을 추출한다.
• 교차- 및 자기- 주의 층이 섞인 Local Feature Transformer (LoFTR)를 이용해 거친 특징을 변환한다.
• 주목도에 대해 O(N) 복잡도를 달성하는 선형 주의 변형을 사용한다.
• 최적전환(Optimal Transport) 또는 이중 소프트맥스(dual-softmax) 중 하나로 거친 수준의 매칭 확률을 계산한 다음 신뢰도가 높은 매치를 선택한다.
• 로컬 윈도우 상의 상관 기반 보정을 통해 선택된 거친 매치를 서브 픽셀 정확도로 정교하게 보정한다(거칠-정교).
• 거친-수준(확신도 기반) 및 세밀-수준(L2와 불확실성 가중치)을 이용해 감독한다.

Figure 1: Comparison between the proposed method LoFTR and the detector-based method SuperGlue [ 37 ] . This example demonstrates that LoFTR is capable of finding correspondences on the texture-less wall and the floor with repetitive patterns, where detector-based methods struggle to find repeatable

실험 결과

연구 질문

• RQ1 트랜스포머를 이용한 탐지기 없는 밀집 매칭이 저질감 또는 반복 영역에서 로버스트한 대응을 제공할 수 있는가?
• RQ2 거칠은-정교한 트랜스포머 기반 접근이 탐지기 기반 및 다른 탐지기 없는 방법과 비교해 상대 자세 추정 및 시각적 로컬라이제이션의 성능을 향상시키는가?
• RQ3 선형 주의와 일반적( vanilla ) 주의의 차이가 성능과 효율에 어떤 영향을 주는가?
• RQ4 거친-수준과 정교-수준 감독이 전체 매칭 정확도에 어떻게 기여하는가?

주요 결과

• LoFTR은 자세 추정 및 시각적 로컬라이제이션을 위한 다수의 실내 및 실외 데이터셋에서 최첨단 성능을 달성한다.
• 탐지기 없는 설계는 저질감, 모션 블러, 반복 패턴 등의 어려운 조건에서도 고품질 매치를 생성한다.
• 트랜스포머 기반의 글로벌 수용 영역은 전통적인 탐지기 기반 선지(prior) 밖에서 밀집 매칭을 가능하게 하여 기준선 대비 상당한 성능 향상을 가져온다.
• 거친-정교 보정은 정확도를 서브 픽셀 수준으로 향상시킨다.
• LoFTR은 듀얼-소프트맥스 또는 최적전송(Optimal Transport) 방식으로 HPatches, ScanNet, MegaDepth, VisLoc와 같은 벤치마크에서 강력한 성능을 보여주며 두 개의 공개 시각 로컬라이제이션 벤치마크에서 1위를 차지한다.

Figure 2: Overview of the proposed method. LoFTR has four components: 1. A local feature CNN extracts the coarse-level feature maps $\tilde{F}^{A}$ and $\tilde{F}^{B}$ , together with the fine-level feature maps $\hat{F}^{A}$ and $\hat{F}^{B}$ from the image pair $I^{A}$ and $I^{B}$ (Section 3.1 ).