[논문 리뷰] AQR-HNSW: Accelerating Approximate Nearest Neighbor Search via Density-aware Quantization and Multi-stage Re-ranking

Ganap Ashit Tewary, Nrusinga Charan Gantayat외 1명|arXiv (Cornell University)|2026. 02. 25.

Advanced Image and Video Retrieval Techniques인용 수 0

한 줄 요약

AQR-HNSW는 밀도 인식 적응 양자화, 다중 상태 재정렬, 그리고 SIMD-최적화 구현을 결합하여 HNSW 기반 ANN 검색의 속도를 높이고, 높은 재현율과 감소된 메모리 사용량으로 처리량을 향상시킵니다.

ABSTRACT

Approximate Nearest Neighbor (ANN) search has become fundamental to modern AI infrastructure, powering recommendation systems, search engines, and large language models across industry leaders from Google to OpenAI. Hierarchical Navigable Small World (HNSW) graphs have emerged as the dominant ANN algorithm, widely adopted in production systems due to their superior recall versus latency balance. However, as vector databases scale to billions of embeddings, HNSW faces critical bottlenecks: memory consumption expands, distance computation overhead dominates query latency, and it suffers suboptimal performance on heterogeneous data distributions. This paper presents Adaptive Quantization and Rerank HNSW (AQR-HNSW), a novel framework that synergistically integrates three strategies to enhance HNSW scalability. AQR-HNSW introduces (1) density-aware adaptive quantization, achieving 4x compression while preserving distance relationships; (2) multi-state re-ranking that reduces unnecessary computations by 35%; and (3) quantization-optimized SIMD implementations delivering 16-64 operations per cycle across architectures. Evaluation on standard benchmarks demonstrates 2.5-3.3x higher queries per second (QPS) than state-of-the-art HNSW implementations while maintaining over 98% recall, with 75% memory reduction for the index graph and 5x faster index construction.

연구 동기 및 목표

• 생산 환경에서 수십억 규모 임베딩에 대한 HNSW의 확장성 모색.
• 거리를 왜곡하지 않으면서 인덱스를 압축하는 밀도 인식 적응 양자화 스킴 개발.
• 불필요한 거리 계산을 줄이기 위한 다상 재정렬 메커니즘 도입.
• 아키텍처 전반에서 하드웨어 처리량을 극대화하는 SIMD-최적화 양자화 루틴 설계.

제안 방법

• 거리 관계를 보존하면서 4배 압축을 달성하는 밀도 인식 적응 양자화.
• ANNC 계산을 35% 줄이기 위한 다상 재정렬.
• 아키텍처 전반에서 16-64 연산/주기로 제공되는 양자화 최적화 SIMD 구현.

실험 결과

연구 질문

• RQ1 밀도 인식 양자화가 재현율에 해를 끼치지 않으면서 HNSW 인덱스를 약 4배 압축할 수 있는가?
• RQ2 다상 재정렬이 ANN 검색에서 거리 계산을 의미 있게 줄이는가?
• RQ3 HNSW 기반 ANN 검색에서 SIMD-최적화 양자화를 통해 처리량과 메모리 측면에서 얼마나 개선을 달성할 수 있는가?
• RQ4 표준 벤치마크에서 기존 HNSW 대비 QPS 및 재현율의 상대적 이득은 무엇인가?

주요 결과

• 동급 최강의 HNSW 구현보다 2.5–3.3배 더 높은 질의 속도(QPS)를 달성하면서 재현율 98% 이상을 유지.
• 인덱스 그래프의 메모리 75% 감소.
• 인덱스 구축이 5배 더 빠름.