[논문 리뷰] ASpanFormer: Detector-Free Image Matching with Adaptive Span Transformer

Hongkai Chen, Zixin Luo외 7명|arXiv (Cornell University)|2022. 08. 30.

Advanced Neural Network Applications인용 수 6

한 줄 요약

ASpanFormer는 흐름 불확실성에 기반해 동적으로 조정되는 적응형 어텐션 스팬을 갖춘 계층적인 트랜스포머를 사용하여 검출기 없는 이미지 매칭 방법을 제안한다. 흐름 맵을 회귀하고 불확실성을 추정하여 맥락 크기를 결정함으로써, 자세 추정 및 시각적 로컬라이제이션 벤치마크에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Generating robust and reliable correspondences across images is a fundamental task for a diversity of applications. To capture context at both global and local granularity, we propose ASpanFormer, a Transformer-based detector-free matcher that is built on hierarchical attention structure, adopting a novel attention operation which is capable of adjusting attention span in a self-adaptive manner. To achieve this goal, first, flow maps are regressed in each cross attention phase to locate the center of search region. Next, a sampling grid is generated around the center, whose size, instead of being empirically configured as fixed, is adaptively computed from a pixel uncertainty estimated along with the flow map. Finally, attention is computed across two images within derived regions, referred to as attention span. By these means, we are able to not only maintain long-range dependencies, but also enable fine-grained attention among pixels of high relevance that compensates essential locality and piece-wise smoothness in matching tasks. State-of-the-art accuracy on a wide range of evaluation benchmarks validates the strong matching capability of our method.

연구 동기 및 목표

• 트랜스포머 기반 이미지 매칭에서 고정된 수신장 어텐션의 한계를 해결하기 위해.
• 키포인트 검출기에 의존하지 않고, 더 풍부한 맥락을 갖춘 원시 이미지에서 직접 밀도 높은 대응 예측을 가능하게 하기 위해.
• 지역적 매칭 불확실성에 기반해 어텐션 스팬 크기를 적응적으로 조정하여 정확도와 로컬라이제이션 성능을 향상시키기 위해.
• 다양한 매칭 시나리오에 걸쳐 장거리 전역 맥락 인식과 세밀한 국소 어텐션 간의 균형을 맞추어 강력한 성능을 확보하기 위해.

제안 방법

• 저해상도에서 전역 어텐션을 수행하고 고해상도에서 국소 어텐션을 수행하는 계층적 글로벌-로컬 어텐션(Goal-Local Attention, GLA) 블록을 도입한다.
• 각 크로스 어텐션 단계에서 흐름 회귀를 사용하여 국소 어텐션의 검색 영역 중심을 예측한다.
• 유비차스 확률 모델을 사용해 흐름 예측 파라미터(평균 및 분산)에서 픽셀 단위의 불확실성을 추정한다.
• 불확실성에 기반해 어텐션 스팬 크기를 조정한다: 높은 신뢰도의 텍스처가 있는 영역에는 작게, 불확실하거나 텍스처가 없는 영역에는 크게 설정한다.
• 흐름 정확도와 불확실성 추정을 동시에 최적화하는 미분 가능 손실을 적용하여, 신뢰도가 높은 예측에서 낮은 불확실성을 유도한다.
• 흐름 예측 중심 주변의 샘플링 격자를 사용하며, 스팬 크기는 추정된 불확실성에 따라 결정되어 관련 영역에 집중한다.

실험 결과

연구 질문

• RQ1 적응형 어텐션 스팬은 고정 크기 또는 전역 어텐션 대비 텍스처가 없는 영역이나 가림 영역에서 매칭 정확도를 향상시킬 수 있는가?
• RQ2 불확실성 인식 맥락 선택은 어려운 상황에서 트랜스포머 기반 이미지 매칭의 강건성에 어떤 영향을 미치는가?
• RQ3 검출기 없는 엔드 투 엔드 매칭 네트워크는 이중시각 자세 추정에서 최신 기술 기반 검출기 기반 방법을 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 제안된 불확실성 기반 어텐션 메커니즘은 실세계 및 합성 데이터셋을 포함한 다양한 벤치마크에서 일반화 가능한가?

주요 결과

• 이중시각 자세 추정에서 YFCC100M에서 ASpanFormer은 44.5% AUC를 달성하여 LoFTR(42.4%) 및 기타 최신 기술 기반 베이스라인을 능가한다.
• IMC 2022 벤치마크에서 ASpanFormer는 사적(0.838 mAA) 및 공개(0.833 mAA) 모두에서 QuadTree 어텐션(0.817/0.812)과 LoFTR(0.783/0.772)를 능가한다.
• 정성적 결과는 텍스처가 있는 영역에서는 작은 스팬으로 날카롭게 집중하고, 불확실하거나 가려진 영역에서는 더 큰 스팬을 사용함으로써 오진을 방지함을 보여준다.
• 흐름 맵은 GLA 블록 반복 과정에서 점차 정확도가 향상되고 겹치지 않는 영역이 제거되며, 이는 특징 정밀도 향상을 시사한다.
• 불확실성 히트맵과 적응형 스팬은 모델이 텍스처가 없는 또는 모호한 영역에 더 큰 맥락을 할당함으로써 강건성을 향상시킴을 보여준다.
• 키포인트 검출기를 사용하지 않고도 밀도 높고 고정밀한 대응을 달성하여, 큰 시점 변화나 반복 패턴과 같은 극한 조건에서도 효과적임을 입증한다.