[논문 리뷰] Spreading vectors for similarity search

Alexandre Sablayrolles, Matthijs Douze외 2명|arXiv (Cornell University)|2018. 06. 08.

Domain Adaptation and Few-Shot Learning인용 수 26

한 줄 요약

이 논문은 입력 벡터를 단위원 초구면 상의 균일 분포로 매핑하는 데 사용할 수 있는 학습 가능한 신경망('catalyzer')을 사용하여, 고정된 강성 있는 양자화기(예: 격자 또는 이진 코드)와 함께 뛰어난 성능을 내는 종단간 학습 프레임워크를 제안한다. Kozachenko–Leonenko 기반 미분 엔트로피 정규화 항과 트리플릿 손실을 조합함으로써, 양자화기를 최적화하지 않아도 유사도 검색 정확도를 향상시켜 최신의 학습된 양자화 방법을 능가하며, 기존의 양자화 기법과 즉시 사용할 수 있는 플러그 앤 플레이 기능을 제공한다.

ABSTRACT

Discretizing multi-dimensional data distributions is a fundamental step of modern indexing methods. State-of-the-art techniques learn parameters of quantizers on training data for optimal performance, thus adapting quantizers to the data. In this work, we propose to reverse this paradigm and adapt the data to the quantizer: we train a neural net which last layer forms a fixed parameter-free quantizer, such as pre-defined points of a hyper-sphere. As a proxy objective, we design and train a neural network that favors uniformity in the spherical latent space, while preserving the neighborhood structure after the mapping. We propose a new regularizer derived from the Kozachenko--Leonenko differential entropy estimator to enforce uniformity and combine it with a locality-aware triplet loss. Experiments show that our end-to-end approach outperforms most learned quantization methods, and is competitive with the state of the art on widely adopted benchmarks. Furthermore, we show that training without the quantization step results in almost no difference in accuracy, but yields a generic catalyzer that can be applied with any subsequent quantizer.

연구 동기 및 목표

• 유사도 검색에서 신경망과 이산 양자화를 동시에 최적화하는 문제에 대응하기 위해, 비가역적인 이산화 연산으로 인해 최적화가 어려운 문제를 해결한다.
• 데이터 분포를 강성 있는 양자화기(예: 격자 또는 이진 코드)에 더 잘 맞게 조정함으로써, 데이터에 맞게 양자화기를 조정하는 대신 고정된 강성 있는 양자화기의 성능을 향상시키는 것을 목표로 한다.
• Kozachenko–Leonenko 추정기 기반의 미분 엔트로피 정규화 항을 설계하여, 구면 잠재 공간에서 균일성을 강제함으로써 출력 공간의 균일한 커버리지가 이루어지도록 한다.
• 학습된 네트워크(catalyzer)가 양자화층 없이도 다양한 후행 양자화 방법에 적용 가능한 일반적인 특징 변환으로 기능할 수 있음을 보여주는 것

제안 방법

• 입력 벡터를 단위원 초구면으로 매핑하는 신경망을 학습하며, 최종 레이어의 출력을 고정된, 파rameter-free 양자화기(예: 부호 함수 또는 격자 양자화기)로 간주한다.
• Kozachenko–Leonenko 미분 엔트로피 추정기에서 유도된 새로운 정규화 항을 사용하여, 구면 출력 공간에서 균일성을 강제함으로써 인코딩된 벡터의 균일한 분포를 촉진한다.
• 학습 목표는 이 정규화 항과 지역성 인식 트리플릿 손실을 조합하여, 입력 공간의 이웃 구조를 매핑 과정 동안 유지한다.
• 네트워크는 종단간으로 학습되지만, 이산화 단계는 고정되어 있어, 미분 가능한 양자화와 관련된 최적화 문제를 피한다.
• 결과적으로 생성된 'catalyzer' 네트워크는 어떤 표준 양자화 방법(예: OPQ 또는 이진 해싱)을 적용하기 전에 특징을 사전 처리하는 데 독립적으로 사용될 수 있다.
• 본 방법은 Deep1B 및 BigAnn1M에서 평가되었으며, 64비트 코드에서 뛰어난 성능과 경쟁 가능한 속도-정확도 트레이드오프를 보였다.

실험 결과

연구 질문

• RQ1 강성 있는, 학습되지 않은 양자화기를 개선하기 위해, 데이터 분포를 이러한 양자화기와 더 잘 맞게 만드는 데이터 변환을 학습하는 것이 가능한가?
• RQ2 미분 엔트로피 정규화 항을 통해 잠재 공간에서 균일성을 강제하면, 양자화기를 종단간으로 학습하는 것보다 더 나은 양자화 성능을 달성할 수 있는가?
• RQ3 양자화층 없이 학습된 신경망이 여전히 여러 양자화 방법에 대해 효과적인 일반적인 특징 변환으로 기능할 수 있는가?
• RQ4 대규모 환경에서 최신의 학습된 양자화 기법과 비교해 본다면, 제안된 방법은 정확도와 속도 측면에서 어떻게 성능을 내는가?

주요 결과

• OPQ와 조합했을 때, 64비트 코드로 Deep1M 데이터셋에서 Recall@10이 71.1%에 도달하여, 베이스라인 OPQ(63.6%)를 능가하고 LSQ와 같은 최고 수준의 방법과 동등하거나 이를 초월한다.
• 대규모 Deep1B 데이터셋(10억 개의 벡터)에서, 64비트 코드로 OPQ보다 10%의 정확도 우수성을 유지하며, 격자 양자화를 사용해 Recall@10이 37.8%에 도달했다.
• LSQ, 최고 수준의 추가 양자화 방법보다 14배 빠르며, 경쟁 가능한 또는 더 높은 정확도를 달성하여 대규모 응용 분야에서 실용적이다.
• 모든 비트 길이(16–128비트)에서 이진 해싱 성능을 2–9%p 향상시켜, Deep1M 및 BigAnn1M 데이터셋에서 LSH 및 ITQ를 모두 능가한다.
• 양자화층 없이 학습함으로써 일반적인 촉매를 얻을 수 있었으며, OPQ 및 이진 해싱을 포함한 여러 양자화 방법에서 성능 향상을 이끌었고, 정확도 저하가 최소화되고 속도 향상도 크게 달성되었다.