[논문 리뷰] LF-Net: Learning Local Features from Images

Y. Ono, Eduard Trulls외 2명|arXiv (Cornell University)|2018. 05. 24.

Image Retrieval and Classification Techniques인용 수 223

한 줄 요약

LF-Net은 알려진 깊이/포즈를 가진 이미지 쌍에서 엔드-투-엔드로 전체 로컬 피처 파이프라인을 학습하기 위한 두-브랜치 자기지도 아키텍처를 제시하며, 최첨단 희소 매칭 성능을 달성하고 QVGA 이미지에서 60fps 이상으로 동작합니다.

ABSTRACT

We present a novel deep architecture and a training strategy to learn a local feature pipeline from scratch, using collections of images without the need for human supervision. To do so we exploit depth and relative camera pose cues to create a virtual target that the network should achieve on one image, provided the outputs of the network for the other image. While this process is inherently non-differentiable, we show that we can optimize the network in a two-branch setup by confining it to one branch, while preserving differentiability in the other. We train our method on both indoor and outdoor datasets, with depth data from 3D sensors for the former, and depth estimates from an off-the-shelf Structure-from-Motion solution for the latter. Our models outperform the state of the art on sparse feature matching on both datasets, while running at 60+ fps for QVGA images.

연구 동기 및 목표

• 손으로 제작된 탐지기를 사용하지 않고 처음부터 로컬 피처 추출 파이프라인을 학습한다.
• 깊이와 상대 포즈를 사용하여 학습을 위한 가상 감독 타깃을 생성한다.
• 미분가능한 가지와 비미분가능한 가지를 결합하여 엔드-투-엔드 학습을 가능하게 한다.
• 실내 및 실외 데이터셋에서 강력한 희소 매칭 성능을 입증한다.
• 실시간 애플리케이션에 적합한 빠른 추론을 보여준다.

제안 방법

• LF-Net은 스케일-공간 스코어 맵, 밀집 방향, 그리고 키포인트 주위의 패치를 위한 디스크립터 네트워크를 출력하는 검출기로 구성된다.
• 학습은 두 개의 동일한 네트워크 분기가 두 이미지를 처리하는 방식을 사용하며; 오른쪽 분기는 지상참조 기하학으로 왜곡하여 왼쪽 분기에 비미분 가능 감독 신호를 제공한다.
• 미분가능 샘플러(STN)가 검출된 키포인트 주변의 패치를 잘라 디스크립터 학습에 사용한다.
• 스케일-공간 키포인트 검출은 다중 스케일 피처 맵과 소프트 비극대화 억제(soft non-maximum suppression) 및 소프트argmax를 이용한 서브픽셀 정확도를 사용한다.
• 방향성은 공유 피처 맵에서 5x5 컨볼루션으로 사인/코사인 성분을 생성하여 예측된다.
• 디스크립터는 256-D이며 L2-정규화되고, 패치 기반 디스크립터 손실(하드-네거티브 마이닝이 포함된 트리플렛 손실)을 통해 학습된다.
• 학습 손실에는 왜곡된 스코어 맵에 대한 이미지-수준 손실, 뷰 간 디스크립터를 정렬하는 패치-수준 손실, 그리고 스케일/방향성 일관성을 강제하는 기하학 손실이 포함된다.

실험 결과

연구 질문

• RQ1 LF-Net은 손으로 제작된 탐지자 없이 엔드-투-엔드로 판별력 있는 키포인트와 디스크립터를 학습할 수 있는가?
• RQ2 비미분 가능하고 왜곡 기반 감독 신호를 엔드-투-엔드 학습에 어떻게 통합할 수 있는가?
• RQ3 깊이 입력을 가진 실내/실외 데이터셋에 대해 LF-Net 학습 전략이 일반화되는가?
• RQ4 전통적 및 학습 기반 기준선과 비교한 LF-Net의 희소 피처 매칭 성능은 어떠하며 런타임은 어느 정도인가?
• RQ5 검출기와 디스크립터의 공동 학습이 전체 매칭 성능에 어떤 영향을 미치는가?

주요 결과

• LF-Net은 실내(ScanNet) 및 실외(photo-tourism) 데이터셋에서 최첨단 희소 피처 매칭을 달성한다.
• 실외 데이터에서 LF-Net은 회전/스케일 증강 여부에 상관없이 매칭 점수에서 SuperPoint보다 상대적으로 9%, LIFT보다 상대적으로 45% 더 우수하다.
• 실내 데이터에서 LF-Net은 짧은 기저선 시퀀스에 대해 SuperPoint와 동등하거나 비슷하게 작동하고 회전/스케일 사용 시 SURF를 큰 차이로 능가한다.
• LF-Net은 QVGA(320x240) 프레임에서 약 60 fps로 동작하며 일반 GPU(예: Titan X)에서 실시간 성능으로 확장된다.
• 두-브랜치 설정에서 검출기와 디스크립터를 공동 학습하면 각각 학습하는 것에 비해 일관된 이점을 얻는다(예: 실외 실험에서 약 7% 상대 향상).
• 이 방법은 실내/실외 설정 모두에서 견고하지만, 깊이 노이즈가 실내에서 영향을 미칠 수 있으며 깊이 기기(Kinect 등)는 불완전한 맵을 생성한다.