[논문 리뷰] Integrative Feature and Cost Aggregation with Transformers for Dense Correspondence

Sunghwan Hong, Seokju Cho외 2명|arXiv (Cornell University)|2022. 09. 19.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 밀도 높은 대응을 향상시키기 위해 특징 기술자와 비용 볼륨을 상보적이고 교차적으로 통합하는 데 중점을 두어, 새로운 Transformer 기반 아키텍처인 IFCAT을 제안한다. 자기주의(self-attention)를 통해 노이즈가 있는 비용 볼륨 가이던스를 이용해 특징을 정제하고, 교차주의(cross-attention)를 통해 双방향 특징 및 비용 가이던스를 활용해 매칭을 향상시킴으로써, SPair-71k, PF-PASCAL, PF-WILLOW, HPatches에서 최신 기준 성능(SOTA)을 달성한다. SPair-71k에서 64.4%의 성능과 HPatches에서 17.59 AEPE를 기록하였다.

ABSTRACT

We present a novel architecture for dense correspondence. The current state-of-the-art are Transformer-based approaches that focus on either feature descriptors or cost volume aggregation. However, they generally aggregate one or the other but not both, though joint aggregation would boost each other by providing information that one has but other lacks, i.e., structural or semantic information of an image, or pixel-wise matching similarity. In this work, we propose a novel Transformer-based network that interleaves both forms of aggregations in a way that exploits their complementary information. Specifically, we design a self-attention layer that leverages the descriptor to disambiguate the noisy cost volume and that also utilizes the cost volume to aggregate features in a manner that promotes accurate matching. A subsequent cross-attention layer performs further aggregation conditioned on the descriptors of both images and aided by the aggregated outputs of earlier layers. We further boost the performance with hierarchical processing, in which coarser level aggregations guide those at finer levels. We evaluate the effectiveness of the proposed method on dense matching tasks and achieve state-of-the-art performance on all the major benchmarks. Extensive ablation studies are also provided to validate our design choices.

연구 동기 및 목표

• 기존의 Transformer 기반 밀도 높은 대응 방법들이 특징 통합 또는 비용 볼륨 통합 중 하나만 수행하지만, 상호보완적인 방식으로 둘 다 수행하지 못하는 한계를 해결한다.
• 특징 기술자(의미적/구조적 맥락)와 비용 볼륨(픽셀 간 일치 유사도)의 상호보완적 강점을 활용하여 매칭 정확도를 향상시킨다.
• 특징과 비용 볼륨 간 상호 강화를 가능하게 하는 이면적 자기 및 교차주의 레이어를 포함한 공동 통합 메커니즘을 설계한다.
• 더 높은 수준의 출력이 더 세밀한 수준의 통합을 지도하도록 하는 계층적 처리를 통해 성능을 향상시킨다.
• 기하학적 및 의미적 매칭 작업 모두에 걸쳐 여러 표준 벤치마크에서 새로운 최신 기준 성능을 수립한다.

제안 방법

• 특징 기술자를 사용해 노이즈가 있는 비용 볼륨을 해소하고, 비용 볼륨을 통해 일치 유사도를 통합하여 특징 통합을 유도하는 자기주의 레이어를 제안한다.
• 두 이미지의 기술자에 기반한 조건부 조건을 제공하고, 이전 레이어에서의 통합된 특징 및 비용 볼륨을 활용하여 표현을 추가로 정밀화하는 교차주의 레이어를 도입한다.
• 자기 및 교차주의 블록을 번갈아가며 배치하여 특징과 비용 볼륨 간의 반복적 정제 및 상호 강화를 가능하게 한다.
• 더 높은 수준의 특징 및 비용 볼륨 출력이 이후 더 세밀한 수준의 통합을 지도하도록 계층적 처리를 구현한다.
• 깊이 및 효율성 메트릭에 대한 추론 및 분석을 통해 계산적으로 효율적이면서도 높은 성능을 유지할 수 있도록 아키텍처를 설계한다.
• 매칭 벤치마크에서 AEPE 및 bbox 정확도를 최적화하는 학습 가능한 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 Transformer 기반 아키텍처에서 특징 기술자와 비용 볼륨을 공동으로 통합하는 것이 순차적 또는 별개의 처리 방식을 초월해 밀도 높은 대응 성능을 향상시킬 수 있는가?
• RQ2 자기 및 교차주의를 통한 특징과 비용 볼륨 정보의 통합이 매칭 정확도 및 강인성에 어떻게 기여하는가?
• RQ3 계층적 처리가 통합적 통합의 성능 향상에 어느 정도 기여하는가?
• RQ4 자기주의, 교차주의, 계층적 설계와 같은 각 아키텍처 구성 요소가 최종 성능 향상에 기여하는 정도는 어떠한가?
• RQ5 다양한 벤치마크에서 기존 최신 기준(SOTA) 방법과 비교해 본다면, 제안된 방법은 정확도 및 효율성 측면에서 어떤가?

주요 결과

• IFCAT는 SPair-71k에서 64.4% (α_bbox = 0.1)와 HPatches에서 17.59 AEPE를 기록하여 평가된 모든 벤치마크에서 새로운 최신 기준 성능을 확립하였다.
• 추론 분석 결과, 특징 또는 비용 볼륨만 별도로 통합하는 경우 성능 향상이 제한적임을 확인할 수 있었으며, 예를 들어 특징 자기주의만을 사용할 경우 SPair-71k에서 36.1%의 성능을 기록하였다. 그러나 공동 통합을 통해 성능 향상이著명하게 이루어졌다.
• 통합 자기주의 레이어(54.7% on SPair-71k)와 그 다음 교차주의 레이어(58.5%)는 점진적으로 성능을 향상시키며, 상호보완적 정보 흐름의 가치를 입증한다.
• 계층적 처리를 통해 SPair-71k에서 58.5%에서 64.4%로, HPatches에서 24.41에서 17.59 AEPE로 성능이 향상되었으며, 이는 군집에서 세밀한 지도의 유용성을 확인한다.
• 주의 블록의 깊이(N)를 증가시킬수록 성능이 단조롭게 향상되며(예: SPair-71k에서 55.4%에서 64.7%로), 다만 메모리 및 런타임 비용이 증가한다.
• 독립적으로 사용할 경우, 두 단계 RANSAC 기반 방법보다 HPatches에서 더 뛰어난 성능을 보이며, 동차성 추정에 의존하지 않고도 강력한 일반화 능력을 입증한다.