[논문 리뷰] Disk-Resident Graph ANN Search: An Experimental Evaluation

Xiaoyu Chen, Jinxiu Qu외 8명|arXiv (Cornell University)|2026. 03. 02.

Advanced Data Storage Technologies인용 수 0

한 줄 요약

이 논문은 디스크에 상주하는 그래프 기반 ANN 방법의 종합적 실험 연구와 분류 체계를 제시하며, 설계 공간을 다섯 구성요소로 해체하고 광범위한 엔드투엔드 및 구성요소 수준 평가를 통해 실용적인 가이드라인을 도출한다.

ABSTRACT

As data volumes grow while memory capacity remains limited, disk-resident graph-based approximate nearest neighbor (ANN) methods have become a practical alternative to memory-resident designs, shifting the bottleneck from computation to disk I/O. However, since their technical designs diverge widely across storage, layout, and execution paradigms, a systematic understanding of their fundamental performance trade-offs remains elusive. This paper presents a comprehensive experimental study of disk-resident graph-based ANN methods. First, we decompose such systems into five key technical components, i.e., storage strategy, disk layout, cache management, query execution, and update mechanism, and build a unified taxonomy of existing designs across these components. Second, we conduct fine-grained evaluations of representative strategies for each technical component to analyze the trade-offs in throughput, recall, and resource utilization. Third, we perform comprehensive end-to-end experiments and parameter-sensitivity analyses to evaluate overall system performance under diverse configurations. Fourth, our study reveals several non-obvious findings: (1) vector dimensionality fundamentally reshapes component effectiveness, necessitating dimension-aware design; (2) existing layout strategies exhibit surprisingly low I/O utilization (less than or equal to 15%); (3) page size critically affects feasibility and efficiency, with smaller pages preferred when layouts are carefully optimized; and (4) update strategies present clear workload-dependent trade-offs between in-place and out-of-place designs. Based on these findings, we derive practical guidelines for system design and configuration, and outline promising directions for future research.

연구 동기 및 목표

• 다섯 가지 기술 구성요소(저장 전략, 디스크 레이아웃, 캐시 관리, 질의 실행, 업데이트 메커니즘)에 걸친 디스크에 상주하는 그래프 기반 ANN 방법의 통일된 분류 체계를 소개한다.
• 대표적인 전략에 대한 처리량, 재현도, 자원 활용도를 분석하기 위한 미세하게 조정된 구성요소 수준 평가를 제공한다.
• 다양한 구성에 걸친 전체 시스템 성능을 평가하기 위한 단일 테스트환경에서의 엔드투엔드 실험을 수행한다.
• 비밀스러운 발견을 드러내고 시스템 설계 및 향후 연구를 위한 실용적인 가이드라인을 도출한다.]
• method:["메모리-디스크 저장 전략, 지역성 인지 디스크 레이아웃, 캐시 관리, 질의 실행, 그리고 업데이트 메커니즘의 다섯 가지 구성요소로 디스크에 상주하는 그래프 기반 ANN 시스템을 해체한다.","공정한 비교를 위해 구성요소 간의 일관된 분류 체계로 기존 방법을 분류한다.","I/O, 재현도, 계산 대 메모리 사용의 트레이드오프를 정량화하기 위한 제어된 구성요소 수준 실험을 수행한다.","공정한 테스트베드와 매개변수 민감도 분석(예: 페이지 크기, 빔 너비)을 통해 엔드투엔드 실험을 수행한다.","차원성 효과와 작업부하 의존적 동작특성을 분석하여 설계 가이드라인을 도출한다."]
• research_questions:["저장 전략, 디스크 레이아웃, 캐싱, 질의 실행, 업데이트 메커니즘이 디스크에 상주하는 그래프 ANN 검색의 처리량과 재현도에 어떤 상호 작용을 보이는가?","다섯 구성요소 전반에 걸친 차원 및 작업부하 의존적 트레이드오프는 무엇인가?","다양한 데이터 특성 및 배치 제약 하에서 디스크에 상주하는 그래프 ANN 시스템을 선택하고 구성하기 위한 실용적인 가이드라인은 무엇인가?]
• key_findings:["벡터 차원성이 구성요소의 효과성을 근본적으로 재구성하여 차원 인식 설계가 필요하다.","레이아웃 전략은 의외로 낮은 I/O 활용률을 보이며 종종 15% 이하에 머문다.","페이지 크기는 실행 가능성과 효율성에 결정적 영향을 미치며, 레이아웃이 최적화된 경우 작은 페이지가 선호되지만 특정 방법은 매우 작은 페이지에서 불가능해진다.","비동기 실행은 I/O 대기 시간을 숨기는데 필수적이며 차원성이 커질수록 그 중요성이 증가한다.","인-플레이스와 아웃-오브-플레이스 업데이트 전략 간에는 작업부하 의존적 트레이드오프가 있어 신선도와 유지 비용에 영향을 준다."," 연구는 실용적인 가이드라인을 제공하고 향후 연구를 위한 유망한 방향을 확인한다.]
• table_headers:[]
• table_rows:[]} | {

제안 방법

• Decompose disk-resident graph-based ANN systems into five components: memory-disk storage strategy, locality-aware disk layout, cache management, query execution, and update mechanism.
• Classify existing methods with a unified taxonomy for fair comparison across components.
• Perform controlled component-level experiments to quantify trade-offs in I/O, recall, and compute versus memory usage.
• Conduct end-to-end experiments with a fair testbed and parameter sensitivity analyses (e.g., page size, beam width).
• Analyze dimensionality effects and workload-dependent behaviors to derive design guidelines.

실험 결과

연구 질문

• RQ1 How do storage strategy, disk layout, caching, query execution, and update mechanisms interact to affect throughput and recall in disk-resident graph ANN search?
• RQ2 What are the dimension- and workload-dependent trade-offs of different design choices across the five components?
• RQ3 What practical guidelines can be derived for selecting and configuring disk-resident graph ANN systems under varying data characteristics and deployment constraints?

주요 결과

• Vector dimensionality fundamentally reshapes component effectiveness, requiring dimension-aware design.
• Layout strategies exhibit surprisingly low I/O utilization, often at or below 15%.
• Page size critically affects feasibility and efficiency, with smaller pages favored when layouts are optimized; some methods become infeasible with very small pages.
• Asynchronous execution is essential to hide I/O latency, with its importance increasing as dimensionality grows.
• There are workload-dependent trade-offs between in-place and out-of-place update strategies, influencing freshness and maintenance costs.
• The study provides practical guidelines and identifies promising directions for future research.