[논문 리뷰] In Defense of Product Quantization

Benjamin Klein, Lior Wolf|arXiv (Cornell University)|2017. 11. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 12인용 수 10

한 줄 요약

이 논문은 검색 및 분류 정확도를 기존 최고 수준의 해싱 기법보다 향상시키면서도 저비용의 계산 및 메모리 비용을 유지하는 엔드 투 엔드 학습형 제품 양자화 방법인 딥 프로덕트 퀀티제이션(DPQ)을 제안한다. 소프트 및 하드 코드북 표현을 위한 스트레이트스러우(estimator)를 활용하고, 표현의 이질성을 줄이기 위해 공동 중심 손실을 도입함으로써 DPQ는 특히 정규화를 통한 교차 도메인 카테고리 검색에서 뛰어난 성능을 발휘한다.

ABSTRACT

Despite their widespread adoption, Product Quantization techniques were recently shown to be inferior to other hashing techniques. In this work, we present an improved Deep Product Quantization (DPQ) technique that leads to more accurate retrieval and classification than the latest state of the art methods, while having similar computational complexity and memory footprint as the Product Quantization method. To our knowledge, this is the first work to introduce a representation that is inspired by Product Quantization and which is learned end-to-end, and thus benefits from the supervised signal. DPQ explicitly learns soft and hard representations to enable an efficient and accurate asymmetric search, by using a straight-through estimator. A novel loss function, Joint Central Loss, is introduced, which both improves the retrieval performance, and decreases the discrepancy between the soft and the hard representations. Finally, by using a normalization technique, we improve the results for cross-domain category retrieval.

연구 동기 및 목표

• 기존 제품 양자화 기법이 효율성은 높지만 최신 해싱 기법에 비해 열등한 것으로 밝혀졌음에도 불구하고, 이러한 전통적 제품 양자화 기법의 한계를 해결하기 위해.
• 감독 신호를 활용해 제품 양자화에 영감을 받은 딥, 엔드 투 엔드 학습형 표현을 개발하기 위해.
• 쿼리 및 데이터베이스 벡터를 다르게 취급하는 효율적인 비대칭 검색을 위한 소프트 및 하드 코드북 표현의 명시적 학습을 가능하게 하기 위해.
• 소프트 및 하드 표현 간의 이질성을 줄이기 위해 새로운 공동 중심 손실 함수를 도입하기 위해.
• 제안된 정규화 기법을 통해 교차 도메인 카테고리 검색 성능을 향상시키기 위해.

제안 방법

• DPQ는 하드 벡터 양자화를 통해 기울기 역전파를 수행할 수 있도록 스트레이트스러우(estimator)를 사용하여 엔드 투 엔드로 표현을 학습한다.
• 비대칭 검색을 효율적으로 지원하기 위해 소프트 및 하드 표현을 명시적으로 학습하며, 이는 쿼리 및 데이터베이스 벡터를 서로 다른 방식으로 취급함을 의미한다.
• 검색 성능 향상과 소프트 및 하드 표현 간의 거리 최소화를 동시에 최적화하는 새로운 공동 중심 손실이 도입된다.
• 표준 제품 양자화와 동일한 계산 복잡도와 메모리 프로필을 유지하여 확장성을 확보한다.
• 교차 도메인 카테고리 검색 작업에서의 성능 향상을 위해 정규화 기법이 적용된다.
• 감독 신호를 활용해 엔드 투 엔드로 프레임워크를 학습함으로써, 학습된 표현과 최종 작업 간의 정렬을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 학습형 제품 양자화 방법은 기존 최고 수준의 해싱 기법보다 검색 및 분류 성능에서 뛰어나게 될 수 있는가?
• RQ2 소프트 및 하드 표현을 함께 최적화하면 비대칭 검색의 효율성과 정확도를 향상시킬 수 있는가?
• RQ3 새로운 손실 함수는 검색 성능을 희생시키지 않고 소프트 및 하드 표현 간의 이질성을 줄일 수 있는가?
• RQ4 정규화는 제품 양자화 기반 방법에서 교차 도메인 카테고리 검색 성능을 향상시킬 수 있는가?
• RQ5 엔드 투 엔드 학습을 통해 표준 제품 양자화의 효율성을 유지하면서도 더 뛰어난 정확도를 달성할 수 있는가?

주요 결과

• DPQ는 유사한 계산 및 메모리 비용을 유지하면서도 최신 최고 수준의 해싱 기법보다 더 높은 검색 및 분류 정확도를 달성한다.
• 공동 중심 손실은 소프트 및 하드 표현 간의 이질성을 크게 줄여 학습된 코드북의 일관성을 향상시킨다.
• 스트레이트스러우(estimator)의 사용은 하드 양자화를 통해 효과적인 역전파를 가능하게 하여 표현의 엔드 투 엔드 학습을 가능하게 한다.
• 정규화는 교차 도메인 카테고리 검색에서 성능 향상을 이끌어내어 다양한 도메인 간 일반화의 이점을 보여준다.
• 제안된 방법은 감독 신호를 활용해 제품 양자화에 영감을 받은 표현을 엔드 투 엔드로 학습하는 최초의 방법으로, 정확도 기준 신규 벤치마크를 설정한다.
• DPQ는 표준 제품 양자화의 효율성을 유지하면서도 성능를 뛰어넘어 대규모 응용에 적합하다.