[논문 리뷰] PN-Net: Conjoined Triple Deep Network for Learning Local Image Descriptors

Vassileios Balntas, Edward Johns외 2명|arXiv (Cornell University)|2016. 01. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 17인용 수 155

한 줄 요약

PN-Net은 SoftPN 손실을 가진 연결된 트리플릿 CNN을 통해 컴팩트한 로컬 이미지 디스크립터를 학습하여 빠른 추출과 이전의 CNN 기반 디스크립터 대비 향상된 매칭 정확도를 달성합니다. 학습은 빠르게 진행되며(에폭당 약 2분) 저차원(≈128-D) 디스크립터를 사용해 빠른 최근접 이웃 매칭에 적합합니다.

ABSTRACT

In this paper we propose a new approach for learning local descriptors for matching image patches. It has recently been demonstrated that descriptors based on convolutional neural networks (CNN) can significantly improve the matching performance. Unfortunately their computational complexity is prohibitive for any practical application. We address this problem and propose a CNN based descriptor with improved matching performance, significantly reduced training and execution time, as well as low dimensionality. We propose to train the network with triplets of patches that include a positive and negative pairs. To that end we introduce a new loss function that exploits the relations within the triplets. We compare our approach to recently introduced MatchNet and DeepCompare and demonstrate the advantages of our descriptor in terms of performance, memory footprint and speed i.e. when run in GPU, the extraction time of our 128 dimensional feature is comparable to the fastest available binary descriptors such as BRIEF and ORB.

연구 동기 및 목표

• CNN 기반 로컬 디스크립터 학습의 필요성과 실행 시간/학습 시간을 단축한다.
• 트리플릿 기반 네트워크(PN-Net)를 개발하여 트리플릿 내 양성/음성 제약을 활용한다.
• Heavy한 하드 네거티 공급 없이 양성 및 음성 관계를 모두 활용하는 SoftPN 손실을 도입한다.
• 저차원 디스크립터와 빠른 추론으로 경쟁력 있는 또는 우수한 매칭 성능을 달성한다.

제안 방법

• Explicit 거리 메트릭 레이어 없이 이미지 패치의 D(p) 디스크립터를 계산하는 두 가지 가지 브랜치 CNN을 사용한다.
• p1과 p2가 같은 3D 점에서, n이 다른 점에서 온 트리플릿 {p1, p2, n}으로 학습한다.
• SoftPN 손실을 도입하여 트리플릿 내 가장 작은 음수 거리의 값을 양수 거리보다 크게 만들도록 한다.
• 同じ 기본 CNN을 사용하여 동일한 기반 CNN과 함께 쌈-형 접근 방식(예: MatchNet, DeepCompare)과 비교한다.
• 128- 또는 256-D 디스크립터를 산출하고 GPU 가속이 가능한 compact 네트워크(두 개의 컨볼루션 층)를 제공한다.
• 데이터 증강을 사용하지 않으며 Patch 데이터(Liberty/Yosemite/Notredame)에서 런타임에 생성된 트리플릿으로 학습한다.

실험 결과

연구 질문

• RQ1 SoftPN 손실을 갖춘 트리플릿 기반 CNN이 쌍 기반(시암) CNN 접근 방식보다 로컬 디스크립터 매칭을 개선하는가?
• RQ2 PN-Net이 낮은 차원의 디스크립터와 빠른 학습/추출 시간으로 경쟁력 있는 매칭 정확도를 달성할 수 있는가?
• RQ3 경계 임베딩 및 SoftMax 비율과 비교한 SoftPN 손실의 수렴성과 성능은 어떤가?
• RQ4 PN-Net의 일반화 특성은 데이터셋(Liberty, Notredame, Yosemite)과 Oxford 벤치마크에서 어떻게 나타나는가?

주요 결과

• SoftPN 손실과 트리플릿 학습은 힌지 손실 및 SoftMax 기반 트리플릿 손실보다 매칭 정확도를 향상시킨다.
• PN-Net은 128- 또는 256-D의 compact 디스크립터를 생성하면서 최첨단의 성능 또는 경쟁력 있는 성능을 달성한다.
• 학습은 빠르며 Titan X에서 에폭당 약 2분이며, GPU에서의 디스크립터 추출 속도는 빠른 이진 디스크립터와 유사하다.
• 다른 CNN 기반 디스크립터에 비해 메모리 사용량과 학습 시간이 줄어들면서 정확도를 유지하거나 향상시킨다.
• 데이터셋 간 일반화가 강하며(Liberty, Notredame, Oxford), 교차 데이터셋 전이가 잘 나타난다.
• 대규모 매칭 작업에 적합한 실시간 가능 디스크립터 추출을 가능하게 한다.