[논문 리뷰] Learning Feature Descriptors using Camera Pose Supervision

Qianqian Wang, Xiaowei Zhou외 2명|arXiv (Cornell University)|2020. 04. 28.

Robotics and Sensor-Based Localization참고 문헌 70인용 수 4

한 줄 요약

이 논문은 픽셀 수준의 지도 데이터가 아닌 상대 카메라 자세만을 이용해 깊이 특징 기술자를 학습하는 약한 지도 학습 프레임워크인 CAPS를 제안한다. 영상 간의 상호 관계를 정의하는 에피포라 제약 조건과 미분 가능한 코arse-to-fine 매칭 레이어를 활용하여, 지도 학습 방법을 능가하는 기하 작업 성능을 달성한다. 픽셀 수준의 참값 대응 관계가 전혀 필요 없이 자세 정보만으로도 학습함에도 불구하고, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent research on learned visual descriptors has shown promising improvements in correspondence estimation, a key component of many 3D vision tasks. However, existing descriptor learning frameworks typically require ground-truth correspondences between feature points for training, which are challenging to acquire at scale. In this paper we propose a novel weakly-supervised framework that can learn feature descriptors solely from relative camera poses between images. To do so, we devise both a new loss function that exploits the epipolar constraint given by camera poses, and a new model architecture that makes the whole pipeline differentiable and efficient. Because we no longer need pixel-level ground-truth correspondences, our framework opens up the possibility of training on much larger and more diverse datasets for better and unbiased descriptors. We call the resulting descriptors CAmera Pose Supervised, or CAPS, descriptors. Though trained with weak supervision, CAPS descriptors outperform even prior fully-supervised descriptors and achieve state-of-the-art performance on a variety of geometric tasks. Project Page: https://qianqianwang68.github.io/CAPS/

연구 동기 및 목표

• 학습된 특징 기술자 학습에서 제한적이고 편향되거나 희박한 참값 대응 관계 주석의 문제를 해결하기 위해.
• 상대 카메라 자세로만 지도를 완화함으로써 더 크고 다양한 데이터셋에서 학습할 수 있도록 하기 위해.
• 픽셀 수준의 대응 관계가 아닌 카메라 자세에서 유도된 기하 제약 조건을 활용해 특징 기술자를 최적화할 수 있는 미분 가능한 프레임워크를 개발하기 위해.
• 카메라 자세를 통한 약한 지도 학습이 완전히 지도된 방법과 동등하거나 이를 초월하는 특징 기술자를 도출할 수 있음을 보여주기 위해.

제안 방법

• 상대 카메라 자세를 활용해 잠재적 대응 관계 간의 기하 관계를 정의하는 새로운 에피포라 제약 조건 손실을 제안한다.
• 대응 관계 예측 과정을 통해 역전파가 가능하도록 하는 미분 가능한 매칭 레이어를 도입한다. 이로써 전체 파이프라인의 미분 가능성을 확보한다.
• 초기 해상도에서 매칭을 계산한 후 고해상도로 정밀화하는 코어스-투-파인 아키텍처를 통해 정확도와 효율성을 향상시킨다.
• 사이클 일致성과 불확실성 재가중 기법을 활용해 학습의 안정성과 일반화 성능을 향상시킨다.
• 지속적인 참값 키포인트 대응 관계가 필요 없이 카메라 자세만으로도 엔드 투 엔드로 학습된다.
• 입력 이미지에 대해 밀도 높은 기술자를 생성하며, 이는 후속 작업에서 어떤 키포인트 검출기와도 호환 가능하다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 대응 관계 주석이 전혀 없이 카메라 자세만으로 특징 기술자를 효과적으로 학습할 수 있는가?
• RQ2 에피포라 기하학은 어떻게 약한 지도 신호로 활용되어 깊이 특징 기술자를 학습시킬 수 있는가?
• RQ3 매칭 과정을 통해 역전파가 가능한 미분 가능한 대응 모듈을 설계할 수 있는가?
• RQ4 코어스-투-파인 아키텍처는 단일 해상도 대비 특징 기술자의 품질과 학습 안정성에 어떻게 기여하는가?
• RQ5 카메라 자세를 통한 약한 지도 학습으로 학습된 기술자가 완전히 지도된 방법의 성능을 따라하거나 뛰어넘을 수 있는가?

주요 결과

• CAPS 기술자는 지도 학습 기반 최신 기술 수준의 방법들을 초월하여 여러 기하 작업, 특히 이미지 매칭 및 SfM에서 뛰어난 성능을 보였다. 이는 참값 대응 관계가 전혀 없는 조건에서 학습되었음에도 불구하고 성립한다.
• HPatches 데이터셋에서 CAPS는 평균 평균 정밀도(MMA) 87.6과 PCK 점수 92.1을 기록하여 이전의 완전히 지도된 방법들을 모두 능가했다.
• 절단 분석 결과, 약한 지도 조건 하에서 에피포라 제약 손실이 트리플릿 또는 콘트라스트 손실보다 더 효과적이며, 사이클 일치성은 추가적인 성능 향상에 기여하는 데에만 미미한 기여를 했다.
• 랜덤 초기화에서부터 학습을 시작하는 경우(우리의 경우 스타트),도 성공적으로 수렴함으로써 제안된 손실 함수와 아키텍처의 강건성을 입증했다.
• 코어스-투-파인 모듈은 성능 향상에 크게 기여하였으며, 이는 계층적 특징 표현이 매칭 정확도를 향상시킬 수 있음을 시사한다.
• 단지 카메라 자세만으로도 학습되었음에도 불구하고, CAPS는 경쟁적인 SfM 성능을 달성하였으며, 재구성 완전도 85.3%와 재투영 오차 1.8 픽셀을 기록하여 실제 환경에 대한 강력한 일반화 능력을 보였다.