[논문 리뷰] Matching Features without Descriptors: Implicitly Matched Interest Points

Titus Cieslewski, Michael Bloesch외 1명|arXiv (Cornell University)|2018. 11. 26.

Robotics and Sensor-Based Localization참고 문헌 34인용 수 7

한 줄 요약

이 논문은 단일 컨볼루션 신경망을 사용하여 기초 기술 없이 희소 특징 매칭을 수행하는 방법을 제안한다. 이 방법은 각 점을 고유한 출력 채널에 연결시켜 암묵적으로 관심점들을 매칭함으로써 기초 기술이 필요 없도록 한다. 이 접근법은 메모리와 대역폭 소비를 크게 줄이며, 경쟁적인 상대 자세 추정 성능을 달성하여 기초 기술 기반 기준선보다 효율성이 뛰어나면서도 낮은 표현 크기에서 높은 정확도를 유지한다.

ABSTRACT

The extraction and matching of interest points is a prerequisite for many geometric computer vision problems. Traditionally, matching has been achieved by assigning descriptors to interest points and matching points that have similar descriptors. In this paper, we propose a method by which interest points are instead already implicitly matched at detection time. With this, descriptors do not need to be calculated, stored, communicated, or matched any more. This is achieved by a convolutional neural network with multiple output channels and can be thought of as a collection of a variety of detectors, each specialized to specific visual features. This paper describes how to design and train such a network in a way that results in successful relative pose estimation performance despite the limitation on interest point count. While the overall matching score is slightly lower than with traditional methods, the approach is descriptor free and thus enables localization systems with a significantly smaller memory footprint and multi-agent localization systems with lower bandwidth requirements. The network also outputs the confidence for a specific interest point resulting in a valid match. We evaluate performance relative to state-of-the-art alternatives.

연구 동기 및 목표

• 희소 특징 매칭에서 명시적 기초 기술의 필요성을 제거하여 시각적 국소화 시스템의 메모리와 통신 비용을 줄이기.
• 기본 기초 기술 계산 없이 관심점 탐지와 매칭을 동시에 수행하는 통합 CNN 아키텍처를 개발하기.
• 비교정된 이미지 시퀀스를 사용하여 자기지도 학습 방식으로 네트워크를 훈련시켜 강인성과 일반화 능력을 향상시키기.
• 특히 대역폭과 메모리 제약 조건에서 최소한의 데이터 표현으로 경쟁적인 상대 자세 추정 성능를 달성하기.
• 채널별 최댓값을 통한 암묵적 매칭이 기존 기초 기술 기반 매칭과 비교해 유사한 정확도를 달성할 수 있음을 입증하기.

제안 방법

• 다수의 출력 채널을 가진 단일 컨볼루션 신경망을 사용하며, 각 채널은 특정 유형의 시각적 특징을 전문화하여 탐지한다.
• 관심점은 각 채널의 반응에서 전역 최댓값으로 정의되며, 이로 인해 서로 다른 시각적 뷰 간에 고유하고 구분 가능한 특징 위치를 확보한다.
• 동일한 채널에서 유도된 점들 간의 매칭을 통해 암묵적인 매칭을 달성함으로써, 기초 기술 계산과 비교 과정이 필요 없어진다.
• 지식 기반 대응 관계를 활용하여, 정상적인 대응 관계와 채널 전문화를 장려하는 자기지도 학습 손실을 사용하여 네트워크를 훈련시킨다.
• 관심점마다 채널 반응에서 유도된 신뢰도 점수가 출력되며, 이는 RANSAC 기반 기하학적 검증에서 강인성을 보장한다.
• 시각적 관측치는 점 좌표와 채널 인덱스(최소 3바이트/점)만으로 표현되어 데이터 포트피트를 극적으로 줄인다.

실험 결과

연구 질문

• RQ1 CNN의 채널별 반응을 활용하여 기초 기술 없이도 관심점 매칭을 달성할 수 있는가?
• RQ2 상대 자세 추정 성능에서 비기초 기술 기반 암묵적 매칭의 성능은 최첨단 기초 기술 기반 방법과 비교해 어떻게 되는가?
• RQ3 다중 에이전트 또는 자원 제약 조건이 있는 국소화 시스템에서 이 방법이 메모리와 대역폭 요구량을 얼마나 줄일 수 있는가?
• RQ4 비기초 기술 기반으로 신뢰할 수 있는 정상 대응 관계를 갖는 관심점들을 생성할 수 있도록 자기지도 학습 전략이 효과적으로 작동하는가?
• RQ5 압축된 기초 기술 기반 기준선과 비교해 이 방법의 표현 크기는 정확도-효율성 트레이드오프 측면에서 어떻게 되는가?

주요 결과

• SIFT 및 학습된 기초 기술과 비교해 상대 자세 추정 성능가 유사하며, 80%의 이미지 쌍에서 10개 이상의 정상 대응 관계를 확보할 경우 양호한 자세 추정 성능(회전 오차 <1°, 이동 오차 <30cm)을 달성한다.
• 네트워크의 반응 크기와 정상 대응 확률 간에 상관관계가 있으며, 이는 RANSAC 샘플링 전략에 활용되어 효율성을 향상시킬 수 있다.
• 점당 3바이트(좌표 + 채널 인덱스)의 표현 크기에서 KITTI 및 EuRoC 데이터셋에서 SIFT와 PCA, 제품 양자화 기반 기준선보다 정확도-크기 트레이드오프 측면에서 뛰어난 성능을 보였다.
• 기초 기술 기반 방법보다 약간 낮은 매칭 점수를 기록하지만, 비기초 기술 접근법은 메모리와 통신 오버헤드를 크게 줄일 수 있었다.
• 좁은 기준선 데이터셋에서도 강력한 성능 유지를 보이며, 일반적이지만 도전적인 시각적 국소화 환경에서의 강인성을 입증했다.
• 비교정된 이미지 시퀀스를 사용한 훈련을 통해 자기지도 학습이 가능하며, 이는 애초에 애너테이션 기반 기초 기술이 필요 없도록 한다.