[논문 리뷰] RANSAC-Flow: generic two-stage image alignment

Xi Shen, François Darmon외 2명|arXiv (Cornell University)|2020. 04. 03.

Advanced Vision and Imaging참고 문헌 97인용 수 4

한 줄 요약

RANSAC-Flow는 RANSAC 기반의 동차성 추정과 SSIM 및 사이클 일致성 손실을 사용해 정렬을 개선하는 자기지도 학습 딥 네트워크를 조합하여 일반적인 두 단계형 비지도 방법을 제안한다. 이는 광범위한 작업—예: 광학 흐름, 시각적 국소화, 예술 작품 정렬—에서 경쟁적인 성능을 달성하며, 예술사 및 텍스처 전이 분야에서 새로운 적용 가능성을 열어준다.

ABSTRACT

This paper considers the generic problem of dense alignment between two images, whether they be two frames of a video, two widely different views of a scene, two paintings depicting similar content, etc. Whereas each such task is typically addressed with a domain-specific solution, we show that a simple unsupervised approach performs surprisingly well across a range of tasks. Our main insight is that parametric and non-parametric alignment methods have complementary strengths. We propose a two-stage process: first, a feature-based parametric coarse alignment using one or more homographies, followed by non-parametric fine pixel-wise alignment. Coarse alignment is performed using RANSAC on off-the-shelf deep features. Fine alignment is learned in an unsupervised way by a deep network which optimizes a standard structural similarity metric (SSIM) between the two images, plus cycle-consistency. Despite its simplicity, our method shows competitive results on a range of tasks and datasets, including unsupervised optical flow on KITTI, dense correspondences on Hpatches, two-view geometry estimation on YFCC100M, localization on Aachen Day-Night, and, for the first time, fine alignment of artworks on the Brughel dataset. Our code and data are available at http://imagine.enpc.fr/~shenx/RANSAC-Flow/

연구 동기 및 목표

• 크고 다양한 외관 및 시점 변화가 있는 다양한 이미지 쌍 간의 일반적인 고밀도 이미지 정렬 문제를 해결한다.
• 순수 매개변수형(예: RANSAC와 동차성) 및 비매개변수형(예: 광학 흐름) 방법의 한계를 극복하기 위해 그들의 강점을 융합한다.
• 특히 희귀하거나 예술적인 이미지 쌍에 대해 지도 없이도 정렬을 가능하게 한다.
• 역사적 예술 작품의 복제 과정 분석과 같은 예술사 분야의 새로운 응용을 가능하게 하기 위해 외관이 다를 수 있는 이미지 간의 세밀한 정렬을 지원한다.
• 특수 작업용 재학습 없이도 다양한 데이터셋과 작업에 적용 가능한 즉시 사용 가능한 솔루션을 제공한다.

제안 방법

• 단계 1: SuperPoint와 같은 사전 학습된 딥 특징에서 유도된 RANSAC을 사용해 큰 시점 및 외관 변화를 다룰 수 있는 한두 개의 원초적 동차성을 추정한다.
• 단계 2: 전이된 이미지와 목표 이미지 간의 SSIM을 최소화하는 방식으로, 자기지도 학습 방식으로 고밀도 픽셀 단위의 흐름 필드를 예측하는 딥 흐름 네트워크를 학습한다.
• 정방향 및 역방향 워핑이 일관된 결과를 도출하도록 사이클 일치성 손실을 도입하여 정확도를 향상시킨다.
• 조각난 평면 구조를 모델링하기 위해 다중 동차성을 사용하여 단일 동차성 방법에 비해 정확도를 향상시킨다.
• 일치하는 대응점을 제거하고 프로세스를 반복적으로 재실행함으로써 복잡하고 균일하지 않은 변환을 다룰 수 있도록 정렬을 반복적으로 개선한다.
• 사전 학습된 특징과 미분 가능한 흐름 네트워크를 활용해 지도 없이도 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 매개변수형 및 비매개변수형 방법을 단순하고 일반적인 두 단계 방식으로 융합한 접근이 특수 작업 설계 없이 다양한 이미지 정렬 작업에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 크고 다양한 외관 및 시점 차이가 있는 상황에서 사전 학습된 딥 특징를 사용한 RANSAC의 원초적 정렬 성능은 얼마나 뛰어난가?
• RQ3 SSIM과 사이클 일치성 손실을 기반으로 학습된 자기지도 학습 딥 네트워크가 지도 없이도 고정밀 고밀도 정렬을 얼마나 잘 달성할 수 있는가?
• RQ4 이 방법을 통해 예술사 분야에서 외관이 다를 수 있는 다양한 버전의 역사적 예술 작품을 분석함으로써 복제 과정을 세밀하게 분석할 수 있는가?
• RQ5 복잡한 시나리오에서 다중 동차성 사용이 단일 동차성 대비 정확도 향상에 얼마나 기여하는가?

주요 결과

• RANSAC-Flow는 KITTI와 Hpatches에서 비지도 광학 흐름 추정에서 최신 기술 수준의 성능을 달성하며, 지도 없이도 기존 최고 수준의 방법을 능가하거나 동등하게 성능을 내고 있다.
• 단지 이미지 매칭과 COLMAP만을 사용해도 Aachen Day-Night 벤치마크에서 시각적 국소화 정확도가 최신 기술 수준의 방법과 유사한 성능을 보였다.
• YFCC100M에서 이미지 쌍만으로도 2-view 기하학적 정렬을 수행했으며, 큰 외관 및 시점 변화에 대해 뛰어난 강건성을 입증했다.
• 브뤼헬 데이터셋에서 고밀도 정렬을 높은 품질로 달성하여, 흐름 시각화를 통해 예술적 복제 과정을 처음으로 세밀하게 분석할 수 있었다.
• 세밀한 흐름 필드는 일부 예술 작품에서는 공간적으로 일관된 복제를, 다른 작품에서는 불연속적이고 비정규적인 이동을 드러내어 예술 기법에 대한 새로운 통찰을 제공했다.
• 이 방법은 효과적인 텍스처 전이와 인터넷 이미지 평균화를 가능하게 하여, 기존 정렬 방법보다 더 선명하고 일관성 있는 결과를 도출했다.