[논문 리뷰] Key.Net: Keypoint Detection by Handcrafted and Learned CNN Filters

Axel Barroso-Laguna, Edgar Riba외 2명|arXiv (Cornell University)|2019. 04. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 39인용 수 59

한 줄 요약

Key.Net은 다중 스케일, 얕은 아키텍처에서 손으로 설계된 이미지 필터와 학습된 CNN 필터를 결합하여 반복 가능한 키포인트를 강력한 성능과 효율성으로 탐지합니다.

ABSTRACT

We introduce a novel approach for keypoint detection task that combines handcrafted and learned CNN filters within a shallow multi-scale architecture. Handcrafted filters provide anchor structures for learned filters, which localize, score and rank repeatable features. Scale-space representation is used within the network to extract keypoints at different levels. We design a loss function to detect robust features that exist across a range of scales and to maximize the repeatability score. Our Key.Net model is trained on data synthetically created from ImageNet and evaluated on HPatches benchmark. Results show that our approach outperforms state-of-the-art detectors in terms of repeatability, matching performance and complexity.

연구 동기 및 목표

• 스케일, 시점 및 조명 변화에서도 안정적으로 유지되는 강인한 키포인트 탐지를 동기화.
• 학습된 필터와 함께 손으로 설계된 앵커를 활용하는 하이브리드 아키텍처를 제안하여 매개변수 수를 줄인다.
• 다중 스케일 간 재현성을 높이기 위한 미분 가능 손실 함수를 개발한다.
• Multi-scale Index Proposal (M-SIP) 계층을 도입하여 스케일-공간 전반에 걸쳐 키포인트를 제안하고 순위를 매긴다.
• HPatches 벤치마크에서 재현성, 매칭 및 효율성을 비교 평가한다.

제안 방법

• 1차 및 2차 도함수에 기반한 손으로 설계된 필터(LocalJet)를 학습 가능한 CNN 블록과 결합하여 사용한다.
• 공유 가중치를 갖는 3단계 스케일-스페이스 피라미드로 입력을 처리하고 특징 맵을 업샘플링/연결한다.
• 윈도우 내 공간 소프트맥스를 통해 키포인트 좌표를 추출하는 미분 가능한 Index Proposal (IP) 계층을 적용한다.
• 크로스 스케일 강건성을 부여하기 위해 스케일 간 공변 손실을 평균화하는 Multi-scale Index Proposal (M-SIP)로 IP를 확장한다.
• 이미지 쌍 간의 알려진 호모그래피 하에서 키포인트를 관련시키는 공변 손실을 갖는 시암 네트워크 방식으로 학습한다.
• 합성 ImageNet 기반 학습 세트와 HPatches 벤치마크로 재현성, IoU, 스케일 범위, 매칭 성능을 비교 평가한다.

실험 결과

연구 질문

• RQ1 하이브드 탐지기가 손으로 설계된 필터와 학습된 필터를 모두 사용하는 경우, 완전히 학습된 탐지기보다 재현성이 더 높아질 수 있는가?
• RQ2 멀티-스케일 인덱스 프로포절 손실이 스케일 변variation에서 키포인트의 강건성을 향상시키는가?
• RQ3 HPatches에서 Key.Net이 재현성, IoU, 스케일 안정성 및 매칭 면에서 최첨단 탐지기와 비교해 어떤 성능을 보이는가?
• RQ4 피라미드 레벨과 핸드메이드 필터 사용이 모델의 효율성과 정확도에 어떤 영향을 미치는가?

주요 결과

• Key.Net은 HPatches에서 특히 시점 및 스케일 불변 설정에서 최첨단 또는 경쟁력 있는 재현성을 달성한다.
• 손으로 설계된 필터를 소프트 앵커로 도입하면 학습 가능한 매개변수를 줄이면서도 성능을 유지하여 Tiny-Key.Net에서 600×600 이미지당 5.7 ms의 175 FPS 추론이 가능하다.
• 다섯 가지 윈도우 크기(8×8에서 40×40) 중 다중 스케일 손실(M-SIP)을 사용하면 재현성이 향상되며, 모든 스케일을 결합할 때 최상의 결과가 나타난다.
• 자원 제약이 있을 때 핸드메이드 필터를 갖춘 세 가지 학습 가능한 블록이 순수하게 학습된 변형보다 우수하며, 복잡도가 증가함에 따라 더 깊은 네트워크에 근접한 성능을 보인다.
• 스케일 오차가 없는 Key.Net은 descriptor HardNet와 함께 사용될 때 특히 시점 변화에 대한 매칭 성능이 뛰어나며 강력한 매칭 성능을 보인다.