[논문 리뷰] End-to-end Learning of Deep Visual Representations for Image Retrieval

Albert Gordo, Jon Almazán외 2명|arXiv (Cornell University)|2016. 10. 25.

Advanced Image and Video Retrieval Techniques참고 문헌 2인용 수 12

한 줄 요약

이 논문은 R-MAC를 미분 가능하고 훈련 가능한 것으로 개선하여 인스턴스 수준의 이미지 검색을 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이 방법은 Oxford 5k, Paris 6k, Holidays 데이터셋에서 각각 94.7%, 96.6%, 94.8%의 평균 평균 정밀도를 기록하며 최신 기술 수준의 성능을 달성하며, 정확도 손실을 최소화하면서도 제품 양자화를 통해 매우 압축된 기술자를 제공한다.

ABSTRACT

While deep learning has become a key ingredient in the top performing methods for many computer vision tasks, it has failed so far to bring similar improvements to instance-level image retrieval. In this article, we argue that reasons for the underwhelming results of deep methods on image retrieval are threefold: i) noisy training data, ii) inappropriate deep architecture, and iii) suboptimal training procedure. We address all three issues. First, we leverage a large-scale but noisy landmark dataset and develop an automatic cleaning method that produces a suitable training set for deep retrieval. Second, we build on the recent R-MAC descriptor, show that it can be interpreted as a deep and differentiable architecture, and present improvements to enhance it. Last, we train this network with a siamese architecture that combines three streams with a triplet loss. At the end of the training process, the proposed architecture produces a global image representation in a single forward pass that is well suited for image retrieval. Extensive experiments show that our approach significantly outperforms previous retrieval approaches, including state-of-the-art methods based on costly local descriptor indexing and spatial verification. On Oxford 5k, Paris 6k and Holidays, we respectively report 94.7, 96.6, and 94.8 mean average precision. Our representations can also be heavily compressed using product quantization with little loss in accuracy. For additional material, please see www.xrce.xerox.com/Deep-Image-Retrieval.

연구 동기 및 목표

• 노이즈가 많은 데이터, 최적화되지 않은 아키텍처, 열악한 훈련 절차로 인해 딥 러닝이 인스턴스 수준의 이미지 검색에서 성능이 떨어지는 문제를 해결하기 위해.
• 랜드마크 데이터셋에서 노이즈가 있는 애너테이션을 자동으로 걸러내어 깔끔하고 대규모의 훈련 데이터셋을 생성하기 위해.
• R-MAC 기반의 미분 가능하고 엔드 투 엔드 훈련 가능한 딥 아키텍처를 설계하여 검색을 위한 전역 이미지 표현을 학습하기 위해.
• 인코딩 중에 주목할 만한 이미지 영역을 동적으로 선택할 수 있도록 영역 제안 네트워크를 통합하여 특징 학습을 향상시키기 위해.
• 정확도 손실을 최소화하면서도 제품 양자화를 통해 학습된 기술자를 압축하여 효율적이고 확장 가능한 검색을 가능하게 하기 위해.

제안 방법

• R-MAC 기술자를 완전히 미분 가능한 신경망 아키텍처로 변환하여 엔드 투 엔드 훈련이 가능하도록 하였다.
• 검색의 순위 성능 최적화를 위해 세 개의 스트림을 갖춘 시아모이 아키텍처와 트리플릿 손실을 사용하여 네트워크를 훈련시켰다.
• 고정된 격자 대신 학습 가능한 영역 제안 네트워크를 도입하여 주목할 만한 이미지 영역에 집중할 수 있도록 하였다.
• 다양한 스케일로 입력된 특징 맵을 융합하여 스케일 불변 정보를 최종 기술자에 더 rich하게 반영하였다.
• 2048차원 기술자를 제품 양자화(PQ)를 통해 이미지당 최소 64바이트로 압축하였으며, 정확도 저하를 최소화하였다.
• PCA와 PQ를 사용하여 기술자 압축을 수행하였으며, 깨끗한 훈련 데이터에서 코드북을 학습시켜 검색 성능를 유지하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN을 특징 추출기로 사용하는 것과 비교해, 딥 네트워크의 엔드 투 엔드 훈련이 인스턴스 수준의 이미지 검색 성능을 향상시킬 수 있는가?
• RQ2 노이즈가 있는 랜드마크 애너테이션의 자동 정제가 딥 검색 모델의 성능에 어떤 영향을 미치는가?
• RQ3 검색 전용 손실과 함께 공동 훈련될 때, 미분 가능한 R-MAC 유사 아키텍처가 기존 R-MAC를 얼마나 뛰어나게 성능을 내는가?
• RQ4 제안 네트워크를 통해 풀링 영역을 학습하는 것이 고정 격자 풀링 대비 검색 정확도를 향상시키는가?
• RQ5 예를 들어 64바이트의 PQ 코드로 압축된 매우 압축된 기술자가 이미지 검색에서 최신 기술 수준의 성능을 유지할 수 있는가?

주요 결과

• 제안된 방법은 Oxford 5k에서 94.7%, Paris 6k에서 96.6%, Holidays에서 94.8%의 평균 평균 정밀도를 기록하여 이전 최신 기술 수준의 방법들을 크게 앞서 갔다.
• 제품 양자화를 통해 64바이트 기술자를 사용함에도 불구하고, 대부분의 기존 방법들(2048바이트 기술자 사용)보다 성능이 뛰어나다.
• 학습 가능한 영역 제안 네트워크를 사용함으로써 고정 격자 R-MAC 대비 검색 정확도가 향상되었으며, 특히 복잡한 시나리오에서 뚜렷한 향상이 있었다.
• 다중 해상도 특징 융합은 세밀한 패턴과 거시적 패턴을 모두 캡처하여 성능 향상에 기여하였다.
• 제품 양자화를 통해 단일 64GB RAM 머신에서 수억 개의 이미지를 저장할 수 있어 높은 확장성을 입증하였다.
• 지역적 기술자 매칭과 공간 검증 기반의 복잡하고 계산 비용이 큰 파이프라인을 뛰어넘었으며, 더 빠르고 메모리 효율적인 성능을 보였다.