[논문 리뷰] Dual-Resolution Correspondence Networks

Xinghui Li, Kai Han외 2명|arXiv (Cornell University)|2020. 06. 16.

Advanced Neural Network Applications참고 문헌 51인용 수 76

한 줄 요약

DualRC-Net은 듀얼 해상도 특성 맵을 사용하여 거칠게부터 미세하게 dense 픽셀-단위 대응을 설정하고, HPatches, InLoc, Aachen Day-Night에서 최첨단 결과를 달성하면서 메모리 및 계산을 줄입니다.

ABSTRACT

We tackle the problem of establishing dense pixel-wise correspondences between a pair of images. In this work, we introduce Dual-Resolution Correspondence Networks (DualRC-Net), to obtain pixel-wise correspondences in a coarse-to-fine manner. DualRC-Net extracts both coarse- and fine- resolution feature maps. The coarse maps are used to produce a full but coarse 4D correlation tensor, which is then refined by a learnable neighbourhood consensus module. The fine-resolution feature maps are used to obtain the final dense correspondences guided by the refined coarse 4D correlation tensor. The selected coarse-resolution matching scores allow the fine-resolution features to focus only on a limited number of possible matches with high confidence. In this way, DualRC-Net dramatically increases matching reliability and localisation accuracy, while avoiding to apply the expensive 4D convolution kernels on fine-resolution feature maps. We comprehensively evaluate our method on large-scale public benchmarks including HPatches, InLoc, and Aachen Day-Night. It achieves the state-of-the-art results on all of them.

연구 동기 및 목표

• 큰 시점 변화와 조명 변화 전반에 걸친 강력한 밀집 매칭을 촉진한다.
• 전체 해상도의 4D 텐서를 피하는 확장 가능한 아키텍처를 개발한다.
• 거친-정밀 가이드를 활용하여 미세 해상도 매칭에 초점을 맞춘다.
• 과도한 메모리 비용 없이 로컬라이제이션 정확도를 향상시킨다.
• 여러 공공 벤치마크(HPatches, InLoc, Aachen Day-Night)에서 최첨단 성능을 보여준다.

제안 방법

• FPN 유사 백본으로 듀얼 해상도 특성 맵을 추출하여 거칠은 및 미세 특성을 얻는다.
• 거친 특징으로부터 전체 4D 상관 텐서를 형성하고 이웃 합의 모듈로 이를 정제한다.
• 정제된 거친 상관 텐서를 사용하여 세밀 매칭을 이끌고 높은 신뢰도 로컬 영역을 선택한다.
• 마스킹된 업샘플된 거친 점수와 결합된 미세 해상도 점수를 통해 밀집 매칭을 계산한다.
• Frobenius-norm loss와 직교 정규화기를 조합한 손실로 희소 키포인트 주석을 사용하여 엔드-투-엔드로 학습한다.
• 정밀 해상도 공간 전체 대신 고일관성 거친 매치 주변 영역만 쿼리하여 밀집 매칭을 가속화한다.

실험 결과

연구 질문

• RQ1 듀얼 해상도 특성이 고해상도 이미지에서 신뢰할 수 있는 밀집 대응을 가능하게 할 수 있는가?
• RQ2 거칠은-정밀 가이드는 메모리 및 계산을 줄이면서 로컬라이제이션 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 가림, 조명 및 시점 변화가 있는 도전적인 벤치마크에서 DualRC-Net의 성능은 어떤가?
• RQ4 실내 및 실외 재로컬라이제이션 작업에서 최첨단 성능을 달성하는가?

주요 결과

• HPatches, InLoc 및 Aachen Day-Night 벤치마크에서 최첨단 성능을 달성한다.
• 이웃 합의에 의해 정제된 거친 해상도 4D 상관을 활용하여 미세 해상도 매칭을 안내하고 신뢰성과 로컬라이제이션을 향상시킨다.
• 거친 매치에 의해 표시된 영역으로 미세 해상도 매칭을 제한하여 메모리 점유 및 계산을 줄인다.
• HPatches에서 심한 조명 및 시점 변화하에서 NCNet 및 Sparse-NCNet보다 성능이 우수하다.
• 실내 및 실외 장면을 포함한 다양한 데이터 세트에서 강력한 일반화 성능을 보여준다.