[논문 리뷰] SEKD: Self-Evolving Keypoint Detection and Description

Yafei Song, Ling Cai외 3명|arXiv (Cornell University)|2020. 06. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 13인용 수 25

한 줄 요약

SEKD는 레이블이 없는 자연 이미지만을 사용하여 동시 키포인트 검출 및 기술자 생성을 위한 자기학습형, 자기진화형 프레임워크를 제안한다. 반복적으로 반복성과 신뢰성 특성에 기반해 검출기 및 기술자 모듈을 최적화함으로써, SEKD는 호모그래피 추정, 상대 자세 추정, 구조 복원 작업에서 최신 기술 수준의 성능을 달성하며, 이전의 수작업 기반 및 DNN 기반 방법들을 능가한다. HPatches에서 65.18%의 Avg.HA@1:10을 기록하고, IMC에서 0.553 mAA의 성능을 달성한다.

ABSTRACT

Researchers have attempted utilizing deep neural network (DNN) to learn novel local features from images inspired by its recent successes on a variety of vision tasks. However, existing DNN-based algorithms have not achieved such remarkable progress that could be partly attributed to insufficient utilization of the interactive characters between local feature detector and descriptor. To alleviate these difficulties, we emphasize two desired properties, i.e., repeatability and reliability, to simultaneously summarize the inherent and interactive characters of local feature detector and descriptor. Guided by these properties, a self-supervised framework, namely self-evolving keypoint detection and description (SEKD), is proposed to learn an advanced local feature model from unlabeled natural images. Additionally, to have performance guarantees, novel training strategies have also been dedicatedly designed to minimize the gap between the learned feature and its properties. We benchmark the proposed method on homography estimation, relative pose estimation, and structure-from-motion tasks. Extensive experimental results demonstrate that the proposed method outperforms popular hand-crafted and DNN-based methods by remarkable margins. Ablation studies also verify the effectiveness of each critical training strategy. We will release our code along with the trained model publicly.

연구 동기 및 목표

• 딥 러닝의 발전에도 불구하고 DNN 기반 국소적 특징 방법의 성능 향상이 수작업 기반 방법에 비해 제한적인 이유를 해결하기 위해.
• 키포인트 검출기와 기술자 간의 내재적이고 상호작용적인 특성인 반복성과 신뢰성의 특성을 활용하여 특징 학습을 향상시키기 위해.
• 인간에 의해 주어진 레이블이 전혀 필요 없는 자기학습 훈련 프레임워크를 개발하여 자연 이미지만을 사용해 엔드 투 엔드 최적화를 가능하게 하기 위해.
• 반복성과 신뢰성을 강제하는 전용 훈련 전략을 통해 학습된 특징와 그들이 가져야 할 특성 간 격차를 줄이기 위해.

제안 방법

• 프레임워크는 레이블이 없는 이미지만을 사용하여 검출기 및 기술자 모듈을 자기진화적인 방식으로 반복적으로 최적화한다.
• 검출기 최적화는 기술자 신뢰성에 의해 유도된다: 신뢰성 있게 구분 가능한 기술자를 가진 키포인트가 검출기 훈련을 위한 가짜 정답으로 사용된다.
• 기술자 최적화는 검출기 신뢰성에 의해 유도된다: 기술자는 현재 검출기로 검출된 키포인트를 구분하도록 훈련된다.
• 손실 함수는 애핀 변환된 이미지 쌍 간의 기술자 반복성을 강제하여 불변성 향상에 기여한다.
• 기술자 고유성 손실은 서로 다른 키포인트의 기술자가 충분히 구분 가능하도록 보장한다.
• 훈련 중에 애핀 데이터 증강 기법을 적용하여 비평면적 환경에 대한 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 레이블이 없는 이미지만을 사용하여 자기학습 프레임워크가 동시에 키포인트 검출과 기술자 생성을 최적화할 수 있는가?
• RQ2 반복성과 신뢰성의 특성이 학습된 국소적 특징의 성능에 어떤 영향을 미치는가?
• RQ3 검출기와 기술자를 번갈아가며 최적화하는 자기진화 훈련 전략이 기존의 DNN 기반 및 수작업 기반 방법보다 우수한 성능을 낼 수 있는가?
• RQ4 특정 훈련 구성요소—예를 들어 기술자 반복성 및 고유성 손실—가 성능 향상에 얼마나 기여하는가?

주요 결과

• HPatches 데이터셋에서 SEKD는 79.98%의 Avg.HA@1:10 성능을 기록하여 두 번째로 우수한 성능을 낸 R2D2(72.15%)를 크게 앞서며 뚜렷한 우월성을 보였다.
• IMC 데이터셋에서 SEKD는 구조 복원 작업에 대해 0.553 mAA, 상대 자세 추정 작업에 대해 0.430 mAA의 성능을 기록했으며, SuperPoint보다 각각 0.035와 0.049 높은 성능을 달성했다.
• 제거 실험 결과, 기술자 반복성 또는 고유성 손실을 제거할 경우 성능 저하가 발생했으며, Avg.HA@1:10는 각각 66.58%와 78.03%로 감소했다.
• 검출기 반복성 손실 또는 애핀 데이터 증강을 제거할 경우에도 성능 저하가 발생하여, 이들이 모델의 안정성과 수렴성에 기여하는 것으로 나타났다.
• 합성된 애핀 변환된 자연 이미지만으로 훈련되었음에도 불구하고, SEKD는 3D 재구성 작업으로도 잘 일반화되어 강력한 강건성을 보였다.