[논문 리뷰] Deep Image Retrieval: Learning global representations for image search

Albert Gordo, Jon Almazán외 2명|arXiv (Cornell University)|2016. 04. 05.

Advanced Image and Video Retrieval Techniques참고 문헌 47인용 수 85

한 줄 요약

이 논문은 엔드 투 엔드 훈련을 통해 전역적이고 압축된 이미지 표현을 학습하는 딥러닝 프레임워크를 제안한다. 시아모닉 네트워크와 트리플릿 랭킹 손실, 영역 제안 네트워크를 통해 영역 특징 추출과 영역 풀링을 동시에 최적화함으로써, 표준 벤치마크에서 최신 기술 수준의 성능을 달성하며, 이전의 전역 기반 기술보다 뛰어나고, 공간 검증 및 쿼리 확장 기반의 더 복잡한 접근 방식과도 맞먹거나 뛰어난 성능을 보인다.

ABSTRACT

We propose a novel approach for instance-level image retrieval. It produces a global and compact fixed-length representation for each image by aggregating many region-wise descriptors. In contrast to previous works employing pre-trained deep networks as a black box to produce features, our method leverages a deep architecture trained for the specific task of image retrieval. Our contribution is twofold: (i) we leverage a ranking framework to learn convolution and projection weights that are used to build the region features; and (ii) we employ a region proposal network to learn which regions should be pooled to form the final global descriptor. We show that using clean training data is key to the success of our approach. To that aim, we use a large scale but noisy landmark dataset and develop an automatic cleaning approach. The proposed architecture produces a global image representation in a single forward pass. Our approach significantly outperforms previous approaches based on global descriptors on standard datasets. It even surpasses most prior works based on costly local descriptor indexing and spatial verification. Additional material is available at www.xrce.xerox.com/Deep-Image-Retrieval.

연구 동기 및 목표

• 기존 국소 기반 기술에 비해 성능이 열등한 딥러닝 기반의 인스턴스 수준 이미지 리트리ieval 기술의 문제를 해결한다.
• 사전 훈련된 네트워크를 블랙박스 특징 추출기로 사용하는 제한점을 극복하기 위해, 리트리ieval에 특화된 네트워크를 훈련한다.
• 특징 추출 가중치와 최적의 영역 풀링 위치를 동시에 엔드 투 엔드로 학습함으로써 전역 기반 기술의 품질을 향상시킨다.
• 대규모 랜드마크 데이터셋에서 유래한 노이즈가 많은 훈련 데이터를 처리하기 위한 자동 데이터 정제 파이프라인을 개발하여 효과적인 학습을 가능하게 한다.
• 단일 전방 계산과 최소한의 추론 비용으로 높은 리트리ieval 정확도를 달성하며, 공간 검증과 같은 비용이 많이 드는 후처리 과정을 피한다.

제안 방법

• 영역별 특징 추출을 위한 컨volution 및 프로젝션 가중치 최적화를 위해 트리플릿 랭킹 손실을 사용하는 3개의 스트림을 가진 시아모닉 컨volution 신경망을 훈련한다.
• 이미지 영역 중에서 풀링할 영역을 학습하기 위해 영역 제안 네트워크(RPN)를 사용하며, R-MAC에서 사용하는 고정 그레드를 콘텐츠 기반 영역 선택으로 대체한다.
• 훈련에 Landmarks 데이터셋을 활용하며, 잘못 레이블링된 이미지와 가짜 양성 이미지를 제거하기 위해 자동 정제 방법을 적용하여 학습 품질을 향상시킨다.
• 학습된 영역에서 특징을 풀링하여 고정 길이의 전역 기반 기술을 구성함으로써 내적 곱을 통한 효율적 비교를 가능하게 한다.
• 특징 학습과 영역 선택을 동시에 최적화할 수 있도록, 모든 연산이 미분 가능하도록 전체 아키텍처를 엔드 투 엔드로 훈련한다.
• 모델 복잡도를 증가시키지 않고도 추론 시간에 영향을 주지 않으면서 성능 향상을 위해 쿼리 확장(QE)을 후처리 단계로 적용한다.

실험 결과

연구 질문

• RQ1 이미지 리트리ieval을 위한 딥 네트워크를 엔드 투 엔드로 훈련하는 것이, 사전 훈련된 특징 추출기를 고정된 추출기로 사용하는 것보다 성능을 크게 향상시킬 수 있는가?
• RQ2 영역 제안 네트워크를 통해 풀링 영역을 학습하는 것이, 고정 그레드 풀링보다 전역 기반 기술 구축에서 더 우수한 성능을 내는가?
• RQ3 대규모 노이즈가 많은 데이터셋에서 훈련된 딥 리트리ieval 모델의 성능에 데이터 품질이 어느 정도 영향을 미치는가?
• RQ4 특정 데이터셋에 맞춰 조정하거나 비용이 많이 드는 후처리 과정이 필요 없이, 단일이고 통합된 딥 모델이 여러 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 공간 검증 및 쿼리 확장을 활용하는 최신 기술 대비, 제안된 방법은 정확도와 추론 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 Oxford5k 데이터셋에서 86.7% mAP를 달성했으며, 쿼리 확장을 적용한 경우 89.1% mAP를 기록하여 이전의 전역 기반 기술보다 15 mAP 이상 뛰어나다.
• Holidays 데이터셋에서는 쿼리 확장을 적용한 결과 89.1% mAP를 달성했으며, 이는 이전 최신 기술(89.4% mAP)을 능가하는 성능이지만, 훨씬 더 스케일러블하다.
• Oxford5k에서 쿼리당 1ms 내외의 시간과 이미지당 2kB의 저장소만으로 89.1% mAP를 달성했으며, 공간 검증을 위해 1초 이상 소요되는 방법들보다 뛰어난 성능을 보였다.
• 노이즈가 많은 Landmarks 데이터셋에 자동 데이터 정제 파이프라인을 적용한 결과 성능 향상이 두드러지게 나타났으며, 이는 깔끔한 훈련 데이터의 중요성을 입증한다.
• 영역 제안 네트워크를 사용함으로써 고정 그레드 풀링 대비 정확도 향상이 이루어졌으며, 정량적 및 정성적 증거를 통해 더 나은 분류적 이미지 영역의 국소화가 가능함을 보였다.
• 공간 검증이나 쿼리 확장을 사용하지 않더라도 Oxford5k에서 86.7% mAP를 달성하여, 이러한 고비용 기술을 사용하는 방법들보다 뛰어난 학습된 전역 표현의 품질을 입증했다.