[논문 리뷰] Patch2Pix: Epipolar-Guided Pixel-Level Correspondences

Qunjie Zhou, Torsten Sattler외 1명|arXiv (Cornell University)|2020. 12. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 44인용 수 8

한 줄 요약

Patch2Pix는 먼저 파ッチ 수준의 매칭 후보를 생성한 다음 상대 카메라 자세에서 유도된 에피포라 기하학을 활용해 이를 정밀하고 기하학적으로 일관된 매칭으로 개선하는 새로운 이단계적 접근법을 제안한다. 이 방법은 픽셀 수준의 참값 매칭을 필요로 하지 않고도 상대 카메라 자세에서 유도된 에피포라 기하학을 활용해 훈련함으로써, 이미지 매칭, 호모그래피 추정, 시각적 국소화에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The classical matching pipeline used for visual localization typically involves three steps: (i) local feature detection and description, (ii) feature matching, and (iii) outlier rejection. Recently emerged correspondence networks propose to perform those steps inside a single network but suffer from low matching resolution due to the memory bottleneck. In this work, we propose a new perspective to estimate correspondences in a detect-to-refine manner, where we first predict patch-level match proposals and then refine them. We present Patch2Pix, a novel refinement network that refines match proposals by regressing pixel-level matches from the local regions defined by those proposals and jointly rejecting outlier matches with confidence scores. Patch2Pix is weakly supervised to learn correspondences that are consistent with the epipolar geometry of an input image pair. We show that our refinement network significantly improves the performance of correspondence networks on image matching, homography estimation, and localization tasks. In addition, we show that our learned refinement generalizes to fully-supervised methods without re-training, which leads us to state-of-the-art localization performance. The code is available at https://github.com/GrumpyZhou/patch2pix.

연구 동기 및 목표

• 메모리 제약으로 인한 저해상도 매칭 문제를 해결한다.
• 희박한 참값 키포인트에 의존함으로써 편향된 특징을 학습할 수 있는 위험을 가진 완전 감독 방법의 한계를 극복한다.
• 상대 카메라 자세만을 사용하여 기하학적으로 일관된 픽셀 수준의 매칭을 학습하는 약한 감독 방법을 개발한다.
• 재학습 없이도 기존의 매칭 네트워크 출력을 개선하여 정확도를 향상시킨다.
• 약한 감독 및 완전 감독 매칭 파ipelines 모두에 일반화할 수 있도록 하여 다양한 국소화 작업에서 성능을 향상시킨다.

제안 방법

• 기본 매칭 네트워크(예: NCNet 또는 SuperPoint+SuperGlue)를 사용해 파치 수준의 매칭 후보를 생성한다.
• 에피포라 기하학을 감독 신호로 사용해 각 후보 영역 내에서 픽셀 수준의 매칭을 회귀하는 정밀화 네트워크를 훈련한다.
• 각 정밀화된 매칭에 대해 신뢰도 점수를 동시에 예측하여 이상치를 식별하고 제거한다.
• 상대 카메라 자세를 사용해 에피포라 제약 조건을 계산하여 픽셀 수준의 참값이 없더라도 약한 감독을 가능하게 한다.
• 기하학적 일관성을 강제로 만족시키는 기하학적 일관성 손실을 사용해 정밀화 네트워크를 최적화한다.
• 기존의 매칭 네트워크 출력을 향상시키기 위해 정밀화 네트워크를 후처리 모듈로 적용한다.

실험 결과

연구 질문

• RQ1 이중단계의 검출-정밀화 프레임워크는 종단간 매칭 네트워크보다 픽셀 수준의 매칭 정확도를 향상시킬 수 있는가?
• RQ2 픽셀 수준의 참값이 없더라도 에피포라 기하학을 효과적으로 약한 감독 신호로 사용해 정밀화 네트워크를 훈련시킬 수 있는가?
• RQ3 제안된 정밀화 네트워크는 약한 감독 및 완전 감독 매칭 방법 양쪽 모두의 성능 향상에 일반화되는가?
• RQ4 대규모 시점 변화와 무문자 환경과 같은 도전적인 조건에서 Patch2Pix는 매칭 정확도를 어느 정도 향상시키는가?
• RQ5 정밀화 네트워크는 호모그래피 추정 및 시각적 국소화와 같은 후행 작업의 성능을 향상시킬 수 있는가?

주요 결과

• InLoc 벤치마크에서 Patch2Pix는 SuperGlue 기반 후보 파이프라인을 사용해 0.25m 이내로 50.0%의 쿼리가 국소화되었으며, 최신 기술 수준의 성능을 달성했다.
• InLoc의 DUC1 서브셋에서 Patch2Pix는 SuperGlue 후보를 사용해 0.25m 오차 이내로 57.3%의 국소화 정확도를 기록했으며, 모든 베이스라인을 능가했다.
• DUC1 세트에서 Patch2Pix는 최고의 베이스라인(SuperPoint+SuperGlue) 대비 최대 7.5%포인트의 국소화 정확도 향상을 기록했다.
• Patch2Pix는 완전 감독 방법으로도 일반화된다: SuperPoint+SuperGlue에 적용했을 때, InLoc에서 0.25m 오차 이내 정확도가 49.0%에서 50.0%로 향상되었다.
• Aachen Day-Night 데이터셋에서 Patch2Pix는 극한의 조명 변화와 큰 시점 변화를 효과적으로 처리했으며, 높은 내부 매칭 비율을 기록했다.
• 정밀화 네트워크는 이상치 매칭을 크게 감소시켰으며, 특히 빈 벽이나 도로와 같은 도전적인 영역에서 시각화 그림에서 초록색 내부 매칭 비율이 높다는 점에서 이를 입증했다.