[논문 리뷰] A neural network catalyzer for multi-dimensional similarity search.

Alexandre Sablayrolles, Matthijs Douze외 2명|arXiv (Cornell University)|2018. 06. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 24인용 수 2

한 줄 요약

이 논문은 고차원 유사도 검색을 향상시키기 위해 균일성과 유지된 근접 구조를 갖는 구면 임bedding 공간을 학습하는 신경망 촉매제를 제안한다. Kozachenko-Leonenko 기반 정규화항과 국소 인지형 트리플릿 손실을 조합함으로써, LSH와 같은 기존 색인 방법의 재현율을 향상시키고 효율적인 구면 격자 양자화를 가능하게 하여 최적화된 제품 양자화와 경쟁 가능한 성능을 달성한다.

ABSTRACT

This paper aims at learning a function mapping input vectors to an output space in a way that improves high-dimensional similarity search. As a proxy objective, we design and train a neural network that favors uniformity in the spherical output space, while preserving the neighborhood structure after the mapping. For this purpose, we propose a new regularizer derived from the Kozachenko-Leonenko differential entropy estimator and combine it with a locality-aware triplet loss. Our method operates as a catalyzer for traditional indexing methods such as locality sensitive hashing or iterative quantization, boosting the overall recall. Additionally, the network output distribution makes it possible to leverage structured quantizers with efficient algebraic encoding, in particular spherical lattice quantizers such as the Gosset lattice E8. Our experiments show that this approach is competitive with state-of-the-art methods such as optimized product quantization.

연구 동기 및 목표

• 더 효과적인 벡터 임베딩 공간을 학습함으로써 고차원 유사도 검색을 향상시키기.
• 입력에서 출력 공간으로의 매핑 과정에서 국소 근접 구조를 유지하기.
• 출력 공간의 균일성을 증진시켜 양자화 효율성을 향상시키기.
• LSH 및 반복적 양자화와 같은 기존 색인 방법에 대한 플러그인 촉매제로 기능하기.
• Gosset E8 격자와 같은 구조적 양자화기로 효율적인 대수적 인코딩을 가능하게 하기.

제안 방법

• 이 방법은 입력 벡터를 구면 출력 공간으로 매핑하는 신경망을 사용하여 유사도 검색을 향상시킨다.
• Kozachenko-Leonenko 미분 엔트로피 추정기 기반의 새로운 정규화항이 출력 분포의 균일성을 강제한다.
• 국소 인지형 트리플릿 손실이 유사 및 비유사 벡터 간의 상대적 근접 구조를 유지한다.
• 결합된 손실 함수는 학습 중 균일성과 구조 유지 간의 균형을 조절한다.
• 출력 공간은 구조적 양자화를 지원하며, 특히 Gosset E8과 같은 구면 격자 양자화기로 효율적인 대수적 인코딩이 가능하다.
• 모델은 촉매제 역할을 하여 LSH나 반복적 양자화와 같은 기존 색인 방법과 통합될 때 재현율을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 색인 인프라를 수정하지 않고도 학습된 임베딩 공간이 고차원 유사도 검색의 재현율을 향상시킬 수 있는가?
• RQ2 엔트로피 추정에서 파생된 미분 가능 정규화항을 사용해 출력 공간의 균일성을 얼마나 효과적으로 강제할 수 있는가?
• RQ3 국소 근접 구조를 유지하는 것이 고차원 공간에서 검색 성능 향상에 어느 정도 기여하는가?
• RQ4 학습된 임베딩이 E8과 같은 구조적 격자로 효율적이고 대수적인 양자화를 가능하게 하는가?
• RQ5 최적화된 제품 양자화와 같은 최첨단 양자화 기법과 비교해 성능가능한가?

주요 결과

• 제안된 방법은 최첨단 기준인 최적화된 제품 양자화와 경쟁 가능한 재현율 성능을 달성한다.
• 기존 색인 방법인 LSH나 반복적 양자화와 함께 사용할 때 신경망 촉매제의 통합이 재현율을 크게 향상시킨다.
• Kozachenko-Leonenko 추정기 기반의 균일성 정규화항이 더 나은 양자화 효율성을 위한 출력 분포를 효과적으로 형성한다.
• 국소 인지형 트리플릿 손실이 근접 구조 유지에 성공적으로 기여하여 검색 정확도 향상에 기여한다.
• 구면 출력 공간은 Gosset E8 격자와 같은 구조적 양자화기로 효율적인 인코딩을 가능하게 하여 계산 비용을 감소시킨다.
• 기존 유사도 검색 파이프라인에 대한 플러그인 구성 요소로서 강력한 일반화 성능을 보였다.