[논문 리뷰] RF-Net: An End-to-End Image Matching Network based on Receptive Field

Xuelun Shen, Cheng Wang외 6명|arXiv (Cornell University)|2019. 06. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 33인용 수 6

한 줄 요약

이 논문은 반경 영역 기반 반응 맵을 사용하여 키포인트 검출을 향상시키고, 새로운 이웃 마스크 손실 항목을 통해 기술자 특징 학습을 개선하는 엔드 투 엔드로 학습 가능한 이미지 매칭 네트워크인 RF-Net을 제안한다. 이 방법은 HPatches 및 EF 데이터셋 벤치마크에서 기존 방법보다 최대 35%의 상대적 향상으로 최신 기술 수준을 달성한다.

ABSTRACT

This paper proposes a new end-to-end trainable matching network based on receptive field, RF-Net, to compute sparse correspondence between images. Building end-to-end trainable matching framework is desirable and challenging. The very recent approach, LF-Net, successfully embeds the entire feature extraction pipeline into a jointly trainable pipeline, and produces the state-of-the-art matching results. This paper introduces two modifications to the structure of LF-Net. First, we propose to construct receptive feature maps, which lead to more effective keypoint detection. Second, we introduce a general loss function term, neighbor mask, to facilitate training patch selection. This results in improved stability in descriptor training. We trained RF-Net on the open dataset HPatches, and compared it with other methods on multiple benchmark datasets. Experiments show that RF-Net outperforms existing state-of-the-art methods.

연구 동기 및 목표

• 키포인트 검출과 특징 기술자 학습을 동시에 최적화하는 엔드 투 엔드로 학습 가능한 이미지 매칭 파이프라인을 개발한다.
• 개별적으로 최적화된 구성 요소들 간의 성능 저하를 방지하기 위해, 강건한 검출기와 기술자를 함께 학습하는 과제를 해결한다.
• 추상적인 특징 맵이 아닌 점점 증가하는 반경 영역을 기반으로 반응 맵을 구성함으로써 키포인트 검출을 향상시킨다.
• 이웃 마스크 손실 항목을 도입하여 패치 샘플링 중의 모호성을 줄임으로써 기술자 학습을 안정화시킨다.
• 수작업으로 만든 구성 요소나 사전 학습된 검출기를 사용하지 않고도 최신 기술 수준의 매칭 성능을 달성한다.

제안 방법

• 진행적으로 더 큰 반경 영역을 가진 특징 맵을 사용하여 반응 맵을 구성하는 반경 영역 기반 검출기(RF-Det)를 제안하며, 이는 키포인트 국소화를 향상시킨다.
• 공유 가중치를 가진 시아모닉 네트워크 아키텍처를 사용하여 이미지 쌍을 처리하고, 전체 네트워크를 엔드 투 엔드로 공동 학습시킨다.
• 패치 샘플링 중 근처 키포인트를 마스킹함으로써 기술자 학습 중 거짓 음성(false negatives)을 억제하기 위해 이웃 마스크 손실 항목을 도입한다.
• 두 단계 학습 스케줄을 적용한다: 반복마다 기술자를 두 번, 검출기를 한 번 학습시켜 기술자 품질 향상과 검출기 일반화 능력을 향상시킨다.
• 점점 증가하는 커널 크기와 스트라이드를 가진 합성곱 레이어를 통해 반응 맵을 구성함으로써 각 반응 맵의 반경 영역을 체계적으로 확장한다.
• 테스트 세트에서 매칭 성능을 평가하기 위해 0.7 임계값을 사용하는 최근접 이웃 거리 비율 매칭 전략을 적용한다.

실험 결과

연구 질문

• RQ1 반경 영역 기반 반응 맵은 엔드 투 엔드 매칭 네트워크에서 키포인트 검출 성능을 향상시키는가?
• RQ2 이웃 마스크 손실 항목은 레이블링의 모호성을 줄이고 기술자 일반화 능력을 향상시키는가?
• RQ3 수작업으로 만든 검출기를 사용하지 않고도 엔드 투 엔드로 학습 가능한 네트워크가 기존 최신 기술 수준의 방법을 초월할 수 있는가?
• RQ4 반응 레이어의 수가 반경 영역 기반 검출기의 성능에 어떤 영향을 미치는가?
• RQ5 엔드 투 엔드 프레임워크에서 기술자 품질이 검출기 학습에 어느 정도 영향을 미치는가?

주요 결과

• RF-Net은 HPatches-10 시퀀스에서 가장 가까운 경쟁자 대비 35%의 상대적 향상으로 매칭 정확도에서 최신 기술 수준을 달성한다.
• RF-Det 검출기는 세 개의 HPatches 시퀀스에서 각각 11%, 20%, 35%의 상대적 향상된 성능을 기록하며 다음으로 우수한 방법보다 뛰어나다.
• 이웃 마스크 손실 항목은 기술자 강건성 향상에 크게 기여하며, 제거 시 성능 저하가 뚜렷하게 나타나는 아블레이션 연구 결과가 있다.
• 모든 시퀀스에서 LF-Net보다 높은 재현율(repeatability)을 달성하여 반경 영역 설계의 효과를 입증한다.
• 정성적 결과에서는 SIFT, FAST+Hard-Net, LF-Net에 비해 도전적인 이미지 쌍에서 더 많은 올바른 매칭(초록 선)과 더 적은 잘못된 매칭(빨간 선)을 생성한다.
• RF-Net의 성능은 N=8개의 반응 레이어에서 포화 상태에 도달하며, N=3부터 LF-Net과의 일관된 성능 격차가 발생하고 N이 증가함에 따라 점점 커진다.