[논문 리뷰] Visual Correspondence Hallucination

Hugo Germain, Vincent Lepetit외 1명|arXiv (Cornell University)|2021. 06. 17.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 시각적 대응 관계를 유추하는 딥러닝 방법인 NeurHal을 소개한다. NeurHal은 대상 이미지에서 가림되거나 시야 외부에 있을 경우조차도 키포인트 매칭을 예측한다. 참조 위치에 대한 피크를 이룬 확률 분포를 출력하도록 네트워크를 훈련시킴으로써, NeurHal은 새로운 환경으로의 일반화 능력을 확보하고, 최신 국소 특징 매칭 방법에 비해 절대 카메라 자세 추정의 정확도를 크게 향상시킨다.

ABSTRACT

Given a pair of partially overlapping source and target images and a keypoint in the source image, the keypoint's correspondent in the target image can be either visible, occluded or outside the field of view. Local feature matching methods are only able to identify the correspondent's location when it is visible, while humans can also hallucinate its location when it is occluded or outside the field of view through geometric reasoning. In this paper, we bridge this gap by training a network to output a peaked probability distribution over the correspondent's location, regardless of this correspondent being visible, occluded, or outside the field of view. We experimentally demonstrate that this network is indeed able to hallucinate correspondences on pairs of images captured in scenes that were not seen at training-time. We also apply this network to an absolute camera pose estimation problem and find it is significantly more robust than state-of-the-art local feature matching-based competitors.

연구 동기 및 목표

• 딥 러닝 네트워크가 대상 이미지에서 직접 보이지 않는 영역의 시각적 대응 관계를 학습하고 예측할 수 있는지 조사하는 것.
• 인간 수준의 기하학적 추론과 현재의 국소 특징 매칭 방법 사이의 격차를 메우며, 비가시 영역에서 실패하는 문제를 해결하는 것.
• 대응 관계 유추가 절대 카메라 자세 추정 성능 향상에 기여하는지 평가하는 것.
• 표준 대응 매칭이 아닌, 유추 기반 설계에 특화된 새로운 손실 함수와 네트워크 아키텍처를 설계하는 것.
• 학습 중에 보지 못한 새로운 환경으로의 일반화 능력을 입증하는 것.

제안 방법

• NeurHal은 부분적으로 겹치는 소스 이미지와 타겟 이미지 쌍, 그리고 소스 이미지 내의 키포인트 집합을 입력으로 받는다.
• 각 키포인트의 대응 위치에 대한 확률 분포를 타겟 이미지 평면 전역에 출력하며, 가시 영역, 가림 영역, 시야 외부 영역 모두를 모델링한다.
• 진짜 대응 위치 중심에 피크를 이룬 분포를 유도하는 새로운 손실 함수를 사용해 훈련한다. 이는 가시성 여부에 관계없이 동일하게 적용된다.
• 기하학적 추론을 통해 가림 복구(inpainting) 및 시야 외 복구(outpainting) 상황을 모두 처리할 수 있도록 아키텍처를 설계한다.
• 학습에 실세계 및 시뮬레이션 환경 데이터(ScanNet 및 MegaDepth 포함)를 사용하여 제로샷 일반화를 가능하게 한다.
• 훈련 분포와 네트워크의 인덕티브 바이어스를 통해 기하학적 사전 지식을 암묵적으로 활용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 네트워크가 가림되거나 시야 외부 영역의 시각적 대응 관계를 유추할 수 있는가?
• RQ2 학습 중에 보지 못한 환경으로 일반화할 때 대응 관계 유추가 실현 가능하고 효과적인가?
• RQ3 표준 특징 매칭에 비해 대응 관계 유추가 절대 카메라 자세 추정의 정확도 향상에 기여하는가?
• RQ4 표준 매칭이 아닌 유추 기반 설계를 가능하게 하기 위해 필요한 아키텍처 및 손실 함수 설계 선택은 무엇인가?
• RQ5 실패 사례는 시각적 모호성, 낮은 겹침 비율, 강한 카메라 회전과 어떻게 관련이 있는가?

주요 결과

• NeurHal은 학습 데이터 외의 새로운 환경(ScaleNet 및 MegaDepth)에서도 성공적으로 대응 관계를 유추하며, 학습 데이터를 초월한 일반화 능력을 보였다.
• 실제 대응 위치 중심에 피크를 이룬 확률 분포를 생성함으로써, 가림되거나 시야 외부에 있는 경우에도 정확한 예측을 수행한다.
• 절대 카메라 자세 추정 과정에서 NeurHal은 최신 국소 특징 매칭 방법을 능가하며, 특히 겹침 비율이 낮은 이미지 쌍에서 뛰어난 성능을 보였다.
• 실패 사례는 주로 극도로 낮은 시각적 겹침 비율, 강한 카메라 회전, 높은 시각적 모호성과 관련이 있었다.
• 실내(NYU) 및 실외(ETH3D) 환경 모두에서 뛰어난 내구성을 보였으며, 다양한 장면 유형에서 일관된 성능을 유지했다.
• 정성적 결과를 통해 NeurHal은 어려운 케이스에서도 효과적으로 가림 복구(inpainting) 및 시야 외 복구(outpainting) 작업을 수행하며 정확한 국소화를 달성했다.