[논문 리뷰] End-to-End Supervised Product Quantization for Image Search and Retrieval

Benjamin Klein, Lior Wolf|arXiv (Cornell University)|2017. 11. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 34인용 수 7

한 줄 요약

이 논문은 직렬화된 추론 효율성과 동일한 메모리 효율성을 유지하면서 이미지 검색 및 분류 벤치마크에서 최신 기술을 초월하는 엔드투엔드 지도 학습 해싱 방법인 딥 프로덕트 퀀티제이션(DPQ)을 소개한다. DPQ는 비지도 학습 기반 프로덕트 퀀티제이션(PQ)을 확장하여 직렬화 추정기를 사용해 소프트 및 하드 이진 코드를 모두 학습하는 사전 기반 표현을 학습한다.

ABSTRACT

Product Quantization, a dictionary based hashing method, is one of the leading unsupervised hashing techniques. While it ignores the labels, it harnesses the features to construct look up tables that can approximate the feature space. In recent years, several works have achieved state of the art results on hashing benchmarks by learning binary representations in a supervised manner. This work presents Deep Product Quantization (DPQ), a technique that leads to more accurate retrieval and classification than the latest state of the art methods, while having similar computational complexity and memory footprint as the Product Quantization method. To our knowledge, this is the first work to introduce a dictionary-based representation that is inspired by Product Quantization and which is learned end-to-end, and thus benefits from the supervised signal. DPQ explicitly learns soft and hard representations to enable an efficient and accurate asymmetric search, by using a straight-through estimator. Our method obtains state of the art results on an extensive array of retrieval and classification experiments.

연구 동기 및 목표

• 학습 중에 작업에 특화된 레이블을 통합하여 비지도 프로덕트 퀀티제이션(PQ)의 한계를 해결함으로써 검색 정확도를 향상시키기.
• 해싱 방법에서 대칭 및 비대칭 검색 간 성능 격차를 극복하기 위해 소프트 및 하드 표현을 모두 학습함.
• 이전의 PQ 방법과 달리 지도 신호를 활용할 수 있는 사전 기반 해싱 시스템의 엔드투엔드 학습을 가능하게 하기.
• 새로운 정규화 기법과 공동 중심 손실 함수를 통해 교차 도메인 검색 및 분류 성능을 향상시키기.
• 학습된 코드워드를 갖춘 사전 기반 접근 방식이 효율성을 유지하면서도 최신 기술을 초월하는 정확도를 달성할 수 있음을 입증하기.

제안 방법

• 소프트 및 하드 표현을 모두 생성하는 공유 인코더를 사용하는 기울기 전파가 가능한 엔드투엔드 학습 가능한 프로덕트 퀀티제이션 방법인 딥 프로덕트 퀀티제이션(DPQ)을 제안한다.
• argmax 연산으로 인해 비가역적인 하드 표현을 통해 기울기를 역전파하기 위해 직렬화 추정기를 활용한다.
• 특징 표현과 해당 클러스터 중심 간의 거리를 최소화하고, 소프트 및 하드 코드 간의 격차를 줄이는 공동 중심 손실 함수를 도입한다.
• 특징 분포를 정렬함으로써 제로샷 및 교차 도메인 검색 성능을 향상시키기 위해 정규화 기법을 적용한다.
• 압축된 표현 간의 근사 유클리드 거리를 계산하기 위해 룩업 테이블(LUT)을 사용하여, 표준 PQ와 동일한 복잡도로 빠른 비대칭 검색을 가능하게 한다.
• 분류 레이블에서 유도된 지도 신호를 사용하여 엔드투엔드로 모델을 학습하고, 검색 및 분류 정확도를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 프로덕트 퀀티제이션과 같은 사전 기반 해싱 방법이 엔드투엔드 지도 학습 방식으로 훈련될 수 있는가?
• RQ2 엔드투엔드 지도 학습 DPQ의 성능은 대칭 및 비대칭 검색 측면에서 최신 기술의 이진 해싱 방법과 비교해 어떻게 되는가?
• RQ3 소프트 및 하드 표현을 동시에 학습하는 것이 검색 시스템의 강건성과 정확도에 얼마나 기여하는가?
• RQ4 공동 중심 손실 함수가 소프트 및 하드 표현 간 격차를 효과적으로 줄이고 클러스터링 품질을 향상시키는가?
• RQ5 특징의 정규화가 이미지 검색 작업에서 도메인 간 일반화 능력을 향상시키는가?

주요 결과

• 64비트 압축 표현을 사용할 때 DPQ는 ImageNet에서 상위 1위 정확도 56.80%와 상위 5위 정확도 77.59%를 기록하여 이전 최신 기술인 SUBIC보다 각각 9.03%와 5.43% 높다.
• Oxford5K 및 Paris6K 벤치마크에서 DPQ는 동일한 프rotocol 하에 PQ, LSQ, DSH-64 및 SUBIC을 모두 능가하는 mAP 점수 0.2643과 0.4249를 기록한다.
• VOC2007에서 DPQ의 대칭 검색 성능(mAP = 0.5530)은 SUBIC의 대칭 결과(mAP = 0.4443)보다 뚜렷하게 뛰어나, 비대칭 검색 없이도 뛰어난 성능을 보임을 시사한다.
• PQ-Norm 기반 모델은 PQ에 정규화를 적용한 것으로, Oxford5K에서 DPQ와 거의 유사한 성능(mAP = 0.2646 ± 0.0012)을 기록하여 정규화가 성능 향상의 핵심 요소임을 시사한다.
• DPQ는 표준 PQ와 동일한 메모리 프로파일과 추론 시간을 유지하면서도, 여러 벤치마크에서 뛰어난 정확도를 달성한다.
• 공동 중심 손실 함수와 정규화 기법은 교차 도메인 검색에서 성능 향상을 크게 이끌어내어, 이 방법이 도메인 이동에 대해 강건함을 입증한다.