[논문 리뷰] Neural Outlier Rejection for Self-Supervised Keypoint Learning

Jiexiong Tang, Hanme Kim외 3명|arXiv (Cornell University)|2019. 12. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 신경망 기반 이상치 제거를 활용한 자기지도 학습 프록시 작업인 IO-Net를 제안하며, 관점점 검출과 기술자료를 동시에 학습합니다. 또한 서브픽셀 업샘플링과 경계 인식 회귀를 통합한 KeyPointNet을 도입합니다. 이 방법은 기술자료에 대한 명시적 지도 학습 없이도 기준 데이터셋에서 반복성, 국소화 오차, 호모그래피 추정에서 최고 성능을 달성합니다.

ABSTRACT

Identifying salient points in images is a crucial component for visual odometry, Structure-from-Motion or SLAM algorithms. Recently, several learned keypoint methods have demonstrated compelling performance on challenging benchmarks. However, generating consistent and accurate training data for interest-point detection in natural images still remains challenging, especially for human annotators. We introduce IO-Net (i.e. InlierOutlierNet), a novel proxy task for the self-supervision of keypoint detection, description and matching. By making the sampling of inlier-outlier sets from point-pair correspondences fully differentiable within the keypoint learning framework, we show that are able to simultaneously self-supervise keypoint description and improve keypoint matching. Second, we introduce KeyPointNet, a keypoint-network architecture that is especially amenable to robust keypoint detection and description. We design the network to allow local keypoint aggregation to avoid artifacts due to spatial discretizations commonly used for this task, and we improve fine-grained keypoint descriptor performance by taking advantage of efficient sub-pixel convolutions to upsample the descriptor feature-maps to a higher operating resolution. Through extensive experiments and ablative analysis, we show that the proposed self-supervised keypoint learning method greatly improves the quality of feature matching and homography estimation on challenging benchmarks over the state-of-the-art.

연구 동기 및 목표

• 자연 이미지에서 관점점 검출을 위한 정확하고 일관성 있는 학습 데이터 확보의 과제를 해결하며, 특히 주목할 만한 점에 대한 인간 주석 작업의 어려움을 고려합니다.
• SIFT나 ORB와 같은 수작업 특징이 학습된 방법에 비해 떨어지지만, 고비용 지도 학습이 필요한 수작업 특징의 한계를 극복합니다.
• 내부 일관성-이상치 분류 기반의 새로운 프록시 작업을 활용해 관점점 검출과 기술자료 학습을 동시에 최적화하는 자기지도 학습 프레임워크를 개발합니다.
• 관점점 국소화 및 특징 맵 업샘플링의 아키텍처 혁신을 통해 기술자료의 정확성과 매칭의 강인성을 향상시킵니다.
• 관점점 또는 기술자료에 대한 명시적 지도 학습 없이도 반복성, 국소화 오차, 호모그래피 추정에서 최고 성능을 달성합니다.

제안 방법

• 후보 점 쌍 대응 관계에 대해 신경망 기반 이상치 제거를 수행하는 가역적 프록시 작업인 IO-Net을 도입하여 관점점 학습을 위한 지도 신호를 생성합니다.
• 내부 일관성-이상치 예측 헤드를 사용해 관점점 네트워크가 더 구별력 있는 기술자료를 학습할 수 있도록 기울기 신호를 제공합니다.
• 격자 셀 외부의 관점점 위치도 예측할 수 있도록 회귀 헤드를 갖춘 KeyPointNet을 설계하여 셀 경계 근처 및 그를 초월한 정확도를 향상시킵니다.
• 서브픽셀 컨볼루션을 적용해 기술자료 특징 맵을 고해상도로 업샘플링하여 세밀한 세부 사항을 유지함으로써 메트릭 학습을 향상시킵니다.
• 관점점 애너테이션을 명시적으로 사용하지 않고 IO-Net 손실과 기술자료 대비성에 대한 트리플릿 손실만을 사용해 관점점 네트워크를 엔드 투 엔드로 학습합니다.
• 직접적인 기술자료 손실 없이도 이상치 제거 작업에서 유도되는 기울기의 흐름을 활용해 기술자료 학습을 암묵적으로 지도합니다.

실험 결과

연구 질문

• RQ1 이상치 제거 기반의 자기지도 프록시 작업이 명시적 주석 없이도 관점점 검출과 기술자료 학습을 효과적으로 지도할 수 있는가?
• RQ2 가역적 이상치 제거가 관점점 기술자료의 품질과 매칭 성능을 어떻게 향상시키는가?
• RQ3 서브픽셀 업샘플링과 경계 인식 회귀와 같은 아키텍처 개선이 관점점 검출 및 기술자료 정확성에 얼마나 기여하는가?
• RQ4 완전히 자기지도 기반의 관점점 네트워크가 반복성, 국소화 오차, 호모그래피 추정에서 최고 성능을 달성할 수 있는가?
• RQ5 보조적인 IO-Net 작업이 명시적 지도 없이도 고품질 기술자료를 학습시키기에 충분한 지도 신호를 제공하는가?

주요 결과

• 240×320 해상도에서 0.686의 반복성 성능을 달성하여 UnsuperPoint(0.645)와 SuperPoint(0.631)를 모두 능가합니다.
• 480×640 해상도에서 0.684의 반복성 성능를 기록하여 UnsuperPoint(0.612)와 SuperPoint(0.593)를 크게 앞섭니다.
• 국소화 오차 측정에서 240×320 해상도에서 0.890, 480×640 해상도에서 0.970을 기록하며, 높은 해상도에서 UnsuperPoint(0.832 및 0.991)를 능가합니다.
• 480×640 해상도에서 1000개의 관점점으로 0.544의 매칭 점수(M.Score)를 기록하여 UnsuperPoint(0.383)와 SuperPoint(0.281)를 초월합니다.
• Cor-5 임계값 기준 호모그래피 추정에서 0.907의 매칭 점수를 기록하여 SIFT를 제외한 모든 기준 모델을 능가하며, 도전적인 조건에서도 뛰어난 강인성을 보입니다.
• Titan Xp에서 174.5 FPS(업샘플링 포함) 및 194.9 FPS(업샘플링 제외)로 실행되어 실시간 추론 능력을 입증합니다.