[논문 리뷰] Navigable Proximity Graph-Driven Native Hybrid Queries with Structured and Unstructured Constraints

Mengzhao Wang, Lingwei Lv외 4명|arXiv (Cornell University)|2022. 03. 25.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 네비게이터블 프록시 그래프(NPGs) 기반의 네이티브 하이브리드 쿼리(NHQ) 프레임워크를 제안하며, 하이브리드 쿼리에서 벡터 유사도 검색과 구조적 속성 필터링을 동시에 최적화한다. 전용 복합 색인과 공동 프루닝을 통합함으로써, 사전에 알려진 최고 수준의 방법보다 최대 10배 빠른 성능을 달성하면서도 여덟 개인 공개 데이터셋과 하나의 내부 데이터셋에서 높은 리콜을 유지한다.

ABSTRACT

As research interest surges, vector similarity search is applied in multiple fields, including data mining, computer vision, and information retrieval. {Given a set of objects (e.g., a set of images) and a query object, we can easily transform each object into a feature vector and apply the vector similarity search to retrieve the most similar objects. However, the original vector similarity search cannot well support extit{hybrid queries}, where users not only input unstructured query constraint (i.e., the feature vector of query object) but also structured query constraint (i.e., the desired attributes of interest). Hybrid query processing aims at identifying these objects with similar feature vectors to query object and satisfying the given attribute constraints. Recent efforts have attempted to answer a hybrid query by performing attribute filtering and vector similarity search separately and then merging the results later, which limits efficiency and accuracy because they are not purpose-built for hybrid queries.} In this paper, we propose a native hybrid query (NHQ) framework based on proximity graph (PG), which provides the specialized extit{composite index and joint pruning} modules for hybrid queries. We easily deploy existing various PGs on this framework to process hybrid queries efficiently. Moreover, we present two novel navigable PGs (NPGs) with optimized edge selection and routing strategies, which obtain better overall performance than existing PGs. After that, we deploy the proposed NPGs in NHQ to form two hybrid query methods, which significantly outperform the state-of-the-art competitors on all experimental datasets (10$ imes$ faster under the same extit{Recall}), including eight public and one in-house real-world datasets. Our code and datasets have been released at \url{https://github.com/AshenOn3/NHQ}.

연구 동기 및 목표

• 벡터 유사도 검색과 속성 필터링을 별도의 단계로 처리하는 기존 하이브리드 쿼리 처리 방법의 비효율성과 정확도 부족 문제를 해결하기 위해.
• 일괄 처리 파이프라인 내에서 비구조적(특징 벡터) 및 구조적(속성) 제약 조건을 모두 네이티브로 지원하는 통합 프레임워크를 설계하기 위해.
• 하이브리드 쿼리 워크로드에서 더 나은 성능을 내기 위해 개선된 간선 선택 및 라우팅 전략을 갖춘 최적화된 네비게이터블 프록시 그래프(NPGs)를 개발하기 위해.
• 실제 세계 및 공개 데이터셋에서 기존 최고 수준의 시스템에 비해 뚜렷한 성능 향상을 입증하기 위해.

제안 방법

• 근접성 그래프(PG) 구조를 사용하여 벡터 유사도 검색과 속성 필터링을 하나의 통합된 공동 처리 파이프라인으로 통합하는 네이티브 하이브리드 쿼리(NHQ) 프레임워크를 제안한다.
• 특징 벡터와 속성 메타데이터를 PG 내부에 복합적으로 통합하는 복합 색인 구조를 도입하여 하이브리드 쿼리 실행의 효율성을 높인다.
• 탐색 중에 벡터 유사도와 속성 제약 조건 양쪽의 검색 공간을 동시에 줄이는 공동 프루닝 모듈을 설계한다.
• 하이브리드 쿼리에 특화된 최적화된 간선 선택 및 라우팅 전략을 갖춘 두 가지 새로운 네비게이터블 PG(NPGs)를 개발하여 전반적인 검색 성능을 향상시킨다.
• 제안된 NPGs를 NHQ 프레임워크 내에 통합하여 두 가지 하이브리드 쿼리 방법(NHQ-NPG_kgraph 및 NHQ-NPG_sprawl)을 구현한다.
• 벡터 유사도와 속성 제약 조건 충족도 간의 균형을 맞추기 위해 라우팅 전략에 동적 가중치 조정 메커니즘을 도입한다.

실험 결과

연구 질문

• RQ1 비구조적 및 구조적 제약 조건을 통합한 하이브리드 쿼리를 순차적 처리의 비효율성 없이 네이티브로 지원할 수 있는 통합 프레임워크를 설계할 수 있는가?
• RQ2 복합 색인과 공동 프루닝을 통해 근접성 그래프를 어떻게 개선하여 하이브리드 쿼리 성능을 향상시킬 수 있는가?
• RQ3 하이브리드 쿼리 시나리오에서 네비게이터블 프록시 그래프의 최적의 간선 선택 및 라우팅 전략은 무엇인가?
• RQ4 제안된 NHQ 프레임워크는 기존 최고 수준의 하이브리드 쿼리 시스템에 비해 뚜렷한 성능 향상을 달성할 수 있는가?

주요 결과

• NHQ 프레임워크는 모든 평가된 데이터셋에서 동일한 리콜 수준을 유지하면서도 기존 최고 수준의 경쟁자들보다 최대 10배 빠른 성능 향상을 달성한다.
• 제안된 NHQ-NPG_kgraph 및 NHQ-NPG_sprawl 방법은 여덟 개인 공개 데이터셋과 하나의 내부 실세계 데이터셋에서 모두 기존 시스템을 능가한다.
• 두 가지 새로운 NPGs에 구현된 최적화된 간선 선택 및 라우팅 전략은 기존 PGs에 비해 더 나은 전반적인 성능을 제공한다.
• 공동 프루닝과 복합 색인의 사용은 여유로운 검색 공간을 줄이고 정확도를 희생시키지 않은 채 쿼리 효율성을 향상시킨다.
• 프레임워크는 기존 PGs와 호환되어 다양한 PGs를 하이브리드 쿼리 처리에 쉽게 구현할 수 있다.
• 학술 전문가 검색 시스템에서의 사례 연구 결과, HNSW와 Vearch에 비해 NHQ-NPG_kgraph가 특히 속성 제약 조건이 포함된 경우 더 정확하고 관련성이 높은 전문가를 검색해 냈다.