[논문 리뷰] Convolutional Patch Representations for Image Retrieval: an Unsupervised Approach

Mattis Paulin, Julien Mairal외 4명|arXiv (Cornell University)|2016. 03. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 2인용 수 5

한 줄 요약

이 논문은 이미지 및 패치 검색을 위한 비지도 학습 컨볼루션 기반 기술자인 Patch-CKN을 제안한다. 컨볼루션 커널 네트워크(CKNs) 기반으로 개발되었으며, Holidays, Oxford, UKB와 같은 표준 벤치마크에서 상태의 기술자 성능을 달성한다. 레이블 없이 국소 패치 표현을 학습함으로써 SIFT 및 지도 학습 기반 CNN보다 뛰어난 성능을 내며, 훨씬 더 빠른 학습 속도를 제공한다.

ABSTRACT

Convolutional neural networks (CNNs) have recently received a lot of attention due to their ability to model local stationary structures in natural images in a multi-scale fashion, when learning all model parameters with supervision. While excellent performance was achieved for image classification when large amounts of labeled visual data are available, their success for un-supervised tasks such as image retrieval has been moderate so far. Our paper focuses on this latter setting and explores several methods for learning patch descriptors without supervision with application to matching and instance-level retrieval. To that effect, we propose a new family of convolutional descriptors for patch representation , based on the recently introduced convolutional kernel networks. We show that our descriptor, named Patch-CKN, performs better than SIFT as well as other convolutional networks learned by artificially introducing supervision and is significantly faster to train. To demonstrate its effectiveness, we perform an extensive evaluation on standard benchmarks for patch and image retrieval where we obtain state-of-the-art results. We also introduce a new dataset called RomePatches, which allows to simultaneously study descriptor performance for patch and image retrieval.

연구 동기 및 목표

• 이식성 이미지 검색에 잘 일반화되는 강력한 비지도 국소 기술자로서의 패치 표현을 개발하는 것.
• 비지도 학습된 컨볼루션 네트워크가 검색 작업에서 지도 학습 또는 전이 학습 접근법과 비슷하거나 뛰어난 성능을 낼 수 있는지 평가하는 것.
• 패치 및 이미지 검색 성능을 일관된 조건에서 함께 평가할 수 있도록 하는 새로운 벤치마크 데이터셋인 RomePatches를 설계하는 것.
• 비지도 CKN이 지도 학습 기반 CNN과 비교해도 최신 기술 성능을 달성할 수 있으며, 훨씬 더 빠른 학습 속도를 제공할 수 있음을 보여주는 것.
• PCA 및 화이트닝과 같은 사후 처리 기법이 기술자 품질과 검색 성능에 미치는 영향을 조사하는 것.

제안 방법

• 컨볼루션 커널 네트워크(CKNs)에서 유도된 새로운 컨볼루션 기술자 패러다임인 Patch-CKN을 제안하며, 이미지 패치만을 사용해 비지도 방식으로 학습한다.
• 커널 근사 및 구조화된 레이어 설계를 활용해 CKN을 빠른 학습 알고리즘으로 재구성함으로써, backpropagation 없이도 효율적인 학습을 가능하게 한다.
• 국소 이미지 영역을 추출하기 위해 Hessian-Affine 또는 밀도 키포인트 검출을 사용하며, 이를 Patch-CKN 기술자로 인코딩한다.
• VLAD 풀링을 활용해 국소 기술자를 종합적으로 집계하여 검색을 위한 압축된 전역 이미지 표현으로 변환한다.
• 기술자 품질 향상과 검색 정확도 향상을 위해 PCA 및 화이트닝을 사후 처리 단계로 적용한다.
• 3D 재구성된 진짜 매칭 정보를 제공하는 새로운 데이터셋인 RomePatches를 활용해 패치 수준 및 이미지 수준 검색 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비지도 학습된 컨볼루션 네트워크가 이미지 검색 작업에서 지도 학습 또는 전이 학습 방법과 경쟁 가능한 국소 기술자를 생성할 수 있는가?
• RQ2 패치 수준 검색에서의 기술자 성능이 집계된 후 이미지 수준 검색 성능과 상관관계가 있는가?
• RQ3 정확도와 학습 효율성 측면에서 제안된 Patch-CKN 기술자가 SIFT 및 기타 CNN 기반 기술자와 비교해 어떻게 성능을 내는가?
• RQ4 PCA 및 화이트닝과 같은 사후 처리 기법이 비지도 기술자의 성능을 얼마나 향상시키는가?
• RQ5 레이블 없이 학습된 기술자가 Holidays, Oxford, UKB와 같은 표준 벤치마크에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• Patch-CKN은 Holidays 데이터셋에서 79.3% mAP, Oxford 데이터셋(쿼리 자르기 적용)에서 49.8% mAP를 기록하며 SIFT를 능가하고, 글로벌 CNN과 비슷하거나 뛰어난 성능을 보였다.
• PCA 및 화이트닝을 적용한 Patch-CKN은 조밀한 패치를 사용해 Holidays에서 82.9% mAP를 기록하며, MOP-CNN 방법을 초월하고 새로운 최신 기술 성능을 수립했다.
• Oxford 데이터셋에서 Hessian-Affine 패치와 중력 가정을 사용할 경우 Patch-CKN은 SIFT를 포함한 이전 최신 기술 성능을 뛰어넘는 56.5% mAP를 달성했다.
• 비지도로 학습된 Patch-CKN은 모든 세 가지 벤치마크에서 지도 학습 기반 시앙세이 CNN과 피니팅된 AlexNet을 모두 능가했으며, 높은 성능을 내기 위해 지도 학습이 반드시 필요하지 않음을 입증했다.
• 커널 기반 수식을 통해 학습 속도가 매우 빠르게 구현되어 표준 CNN보다 훨씬 효율적인 하이퍼파ram터 탐색이 가능하다.
• 패치 수준 검색 성능이 이미지 수준 검색으로 잘 일반화됨을 확인했으며, 이는 RomePatches가 통합 벤치마크로 사용될 수 있음을 검증했다.