[논문 리뷰] D2D: Learning to find good correspondences for image matching and manipulation

Olivia Wiles, Sébastien Ehrhardt외 1명|arXiv (Cornell University)|2020. 07. 16.

Advanced Vision and Imaging인용 수 16

한 줄 요약

이 논문은 밝기, 시점, 재질 변화와 같은 도전적인 조건에서도 고품질의 대응 관계를 식별하기 위해 이미지와 고유성 점수에 조건화된 맥락 인식 특징을 학습하는 D2D라는 밀도에서 밀도로의 매칭 프레임워크를 제안한다. 특징 표현과 매칭 신뢰도를 공동 최적화함으로써 국소 매칭, 카메라 위치 추정, 3D 복원, 이미지 스타일 전이 작업 전반에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

We propose a new approach to determining correspondences between image pairs under large changes in illumination, viewpoint, context, and material. While most approaches seek to extract a set of reliably detectable regions in each image which are then compared (sparse-to-sparse) using increasingly complicated or specialized pipelines, we propose a simple approach for matching all points between the images (dense-to-dense) and subsequently selecting the best matches. The two key parts of our approach are: (i) to condition the learned features on both images, and (ii) to learn a distinctiveness score which is used to choose the best matches at test time. We demonstrate that our model can be used to achieve state of the art or competitive results on a wide range of tasks: local matching, camera localization, 3D reconstruction, and image stylization.

연구 동기 및 목표

• 큰 밝기, 시점, 맥락, 재질 변화가 있는 조건에서 이미지 쌍 간의 신뢰할 수 있는 대응 관계를 찾는 도전 과제를 해결하기 위해.
• 기존의 희소-희소 방법이 열악한 关건점 검출로 인해 신뢰할 수 없는 결과를 낼 수 있는 복잡한 상황에서의 매칭 정확도를 향상시키기 위해.
• 3D 복원 및 이미지 스타일 전이와 같은 다양한 비전 작업에서 잘 작동하는 통합 프레임워크를 개발하기 위해.
• 테스트 시에 가장 신뢰도가 높은 매칭을 선택할 수 있도록 학습 가능한 고유성 점수를 도입하기 위해.
• 이중 이미지와 고유성 점수에 조건화된 밀도 특징 매칭이 최신 기술 수준의 희소 방법을 능가하거나 견줄 만한 성능을 내는지 입증하기 위해.

제안 방법

• 이 방법은 특징 추출 과정에서 양쪽 이미지에 모두 조건화된 특징을 학습함으로써 상호 이미지 맥락 인식 능력을 갖춘다.
• 깊이 신경망을 사용하여 양쪽 이미지의 정보를 동시에 캐릭터화하는 밀도 특징 맵을 생성한다.
• 각 특징점마다 고유성 점수를 학습하여 잠재적 대응 관계의 신뢰성을 평가한다.
• 추론 시, 학습된 고유성 점수를 기반으로 가장 높은 점수를 가진 매칭만 선택하여 잡음 매칭을 줄인다.
• 정확한 대응 관계가 잘못된 것보다 더 높은 고유성 점수를 가져야 한다는 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 다양한 벤치마크에서 프레임워크를 훈련 및 평가함으로써 다양한 후행 작업에 대해 제로샷 전이가 가능하다.

실험 결과

연구 질문

• RQ1 큰 밝기 및 시점 변화 조건에서 희소-희소 방법보다 밀도-밀도 매칭 접근 방식이 더 우수한 성능을 내는가?
• RQ2 학습 가능한 고유성 점수가 어려운 이미지 쌍에서 불신뢰할 수 있는 매칭을 걸러내는 데 얼마나 효과적인가?
• RQ3 대응 관계 학습을 위해 훈련된 통합 모델이 3D 복원 및 이미지 스타일 전이와 같은 다양한 비전 작업으로 일반화 가능한가?
• RQ4 단일 이미지 특징 학습 대비 양쪽 이미지에 조건화된 특징이 매칭의 강건성을 향상시키는가?
• RQ5 기존 최신 기술 수준의 방법 대비 표준 벤치마크에서 제안된 방법의 성능 향상은 어느 정도인가?

주요 결과

• 제안된 D2D 방법은 HPatches 및 MegaDepth를 포함한 국소 이미지 매칭 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• ScanNet 및 TUM RGB-D 데이터셋에서 카메라 위치 추정 정확도가 크게 향상되었으며, 특히 어려운 조명 및 시점 변화 조건에서도 뛰어난 성능을 보였다.
• 모델은 비정렬된 이미지 컬렉션으로부터 고도로 정확한 기하학적 정확도를 갖는 3D 복원을 가능하게 하여 이전 방법을 능가한다.
• 이미지 스타일 전이 작업에서는 구조를 유지하면서 정밀한 스타일 전이가 가능하여 뛰어난 일반화 능력을 입증했다.
• 고유성 점수는 모호하거나 잘못된 매칭을 효과적으로 걸러내어 전체 매칭 신뢰도를 향상시켰다.
• 특수 작업에 맞춘 미세조정 없이도 다양한 작업으로 잘 일반화되어 강력한 제로샷 전이 능력을 보였다.