[논문 리뷰] pHNSW: PCA-Based Filtering to Accelerate HNSW Approximate Nearest Neighbor Search

Zheng Li, Guangyi Zeng외 3명|arXiv (Cornell University)|2026. 02. 22.

Advanced Image and Video Retrieval Techniques인용 수 0

한 줄 요약

pHNSW는 PCA 기반 차원 축소와 맞춤 ISA 주도 프로세서로 HNSW ANN 검색을 가속화하고, 높은 재현율을 유지하면서 상당한 QPS 증가와 에너지 절감을 달성한다.

ABSTRACT

Hierarchical Navigable Small World (HNSW) has demonstrated impressive accuracy and low latency for high-dimensional nearest neighbor searches. However, its high computational demands and irregular, large-volume data access patterns present significant challenges to search efficiency. To address these challenges, we introduce pHNSW, an algorithm-hardware co-optimized solution that accelerates HNSW through Principal Component Analysis (PCA) filtering. On the algorithm side, we apply PCA filtering to reduce the dimensionality of the dataset, thereby lowering the volume of neighbor access and decreasing the computational load for distance calculations. On the hardware side, we design the pHNSW processor with custom instructions to optimize search throughput and energy efficiency. In the experiments, we synthesized the pHNSW processor RTL design with a 65nm technology node and evaluated it using DDR4 and HBM1.0 DRAM standards. The results show that pHNSW boosts Queries per Second (QPS) by 14.47x-21.37x on a CPU and 5.37x-8.46x on a GPU, while reducing energy consumption by up to 57.4% compared to standard HNSW implementation.

연구 동기 및 목표

• 정확도를 해치지 않으면서 데이터 차원을 축소하여 고차원 ANN 검색(HNSW)을 가속화하는 필요성을 제시한다.
• HNSW 프레임워크에 통합된 PCA 기반 필터링 전략(pHNSW)을 제안한다.
• 처리량과 에너지 효율을 높이기 위해 ISA와 최적화된 메모리/데이터 흐름을 갖춘 맞춤형 pHNSW 프로세서를 설계한다.
• 실제 외부 메모리 구성에서 SIFT1M으로 접근 방식을 평가하여 처리량 및 에너지 이득을 정량화한다.

제안 방법

• 이웃 필터링 전에 고차원 데이터를 낮은 차원 공간으로 투영하기 위해 PCA를 적용한다.
• 레이어별 상위 k 후보 집합을 선택하기 위해 저차원 거리 계산 및 정렬을 수행한다.
• 상위 k 개의 저차원 후보를 고차원 공간으로 역투영하여 정확한 거리 계산을 수행한다.
• HNSW 그래프의 각 레이어 간 재현율과 처리량의 균형을 맞추기 위해 계층적이고 레이어별 k 값을 도입한다.
• 외부 칩 데이터를 정돈하여 저차원 데이터의 규칙적이고 순차적인 접근을 가능하게 하여 불규칙한 메모리 패턴을 줄인다.
• 전용 ISA, 맞춤 거리/정렬 유닛, DMA 기반 데이터 흐름을 갖춘 pHNSW 프로세서를 구현하여 검색을 가속화한다.

실험 결과

연구 질문

• RQ1 PCA 기반 필터링이 재현율에 큰 손실 없이 HNSW에서 고차원 거리 계산을 줄일 수 있는가?
• RQ2 재현율과 QPS의 균형을 맞추기 위해 HNSW 레이어 전반에서 상위-k 매개변수를 어떻게 선택해야 하는가?
• RQ3 데이터 배치, 맞춤 ISA, 병렬 거리/정렬 유닛 등 어떤 구조적 선택이 pHNSW의 검색 처리량과 에너지 효율을 극대화하는가?
• RQ4 SIFT1M과 함께 현실적 DRAM 표준(DDR4 / HBM1.0)에서 알고리즘-하드웨어 공동 설계의 처리량과 에너지 이점은 무엇인가?

주요 결과

• pHNSW는 선택된 레이어별 k 값으로 SIFT1M에서 recall@10은 약 0.92를 달성한다.
• CPU 기반의 HNSW와 비교했을 때 DDR4 및 HBM 구성에서 단일 질의 QPS 향상은 각각 14.47×에서 21.37× 범위이다.
• GPU 기준선과 비교하여 pHNSW는 QPS가 5.37×에서 8.46× 더 높다.
• 쿼리당 에너지 소비가 표준 HNSW 하드웨어 구현에 비해 최대 57.4% 감소하고, DRAM 액세스가 에너지 사용의 대부분을 차지한다.
• pHNSW 프로세서 면적은 0.739 mm^2이며, 온칩 메모리(SPM) 및 Dist.L/kSort.L 계산 유닛의 기여가 큰 편이다.