[論文レビュー] Disk-Resident Graph ANN Search: An Experimental Evaluation

Xiaoyu Chen, Jinxiu Qu+8 more|arXiv (Cornell University)|Mar 2, 2026

Advanced Data Storage Technologies被引用数 0

ひとこと要約

この論文は、ディスク上に居住するグラフベースの ANN 手法の包括的な実験研究と分類学を提示し、設計空間を五つの要素に分解し、広範なエンドツーエンドおよびコンポーネントレベルの評価から実用的な指針を導出します。

ABSTRACT

As data volumes grow while memory capacity remains limited, disk-resident graph-based approximate nearest neighbor (ANN) methods have become a practical alternative to memory-resident designs, shifting the bottleneck from computation to disk I/O. However, since their technical designs diverge widely across storage, layout, and execution paradigms, a systematic understanding of their fundamental performance trade-offs remains elusive. This paper presents a comprehensive experimental study of disk-resident graph-based ANN methods. First, we decompose such systems into five key technical components, i.e., storage strategy, disk layout, cache management, query execution, and update mechanism, and build a unified taxonomy of existing designs across these components. Second, we conduct fine-grained evaluations of representative strategies for each technical component to analyze the trade-offs in throughput, recall, and resource utilization. Third, we perform comprehensive end-to-end experiments and parameter-sensitivity analyses to evaluate overall system performance under diverse configurations. Fourth, our study reveals several non-obvious findings: (1) vector dimensionality fundamentally reshapes component effectiveness, necessitating dimension-aware design; (2) existing layout strategies exhibit surprisingly low I/O utilization (less than or equal to 15%); (3) page size critically affects feasibility and efficiency, with smaller pages preferred when layouts are carefully optimized; and (4) update strategies present clear workload-dependent trade-offs between in-place and out-of-place designs. Based on these findings, we derive practical guidelines for system design and configuration, and outline promising directions for future research.

研究の動機と目的

• ストレージ戦略、ディスクレイアウト、キャッシュ管理、クエリ実行、更新機構の五つの技術コンポーネントに跨る統一的な分類学を導入する。
• 代表的な戦略のスループット、リコール、リソース利用を分析するための細粒度でコンポーネントレベルの評価を提供する。
• 統一されたテストベッドの下でエンドツーエンド実験を行い、さまざまな構成での全体性能を評価する。
• 非明示的な発見を明らかにし、システム設計と将来の研究の実用的な指針を導出する。

提案手法

• ディスク上に居住するグラフベースのANNシステムを五つのコンポーネントに分解する：メモリ-ディスクストレージ戦略、局所性を意識したディスクレイアウト、キャッシュ管理、クエリ実行、更新機構。
• 既存の手法を統一的な分類学で分類し、コンポーネント間の公正な比較を行う。
• I/O、リコール、計算とメモリ使用量のトレードオフを定量化するための制御されたコンポーネントレベルの実験を実施する。
• 公正なテストベッドとパラメータ感度分析（例：ページサイズ、ビーム幅）を用いたエンドツーエンド実験を実施する。
• 次元性の影響とワークロード依存の挙動を分析して設計指針を導出する。

実験結果

リサーチクエスチョン

• RQ1 ストレージ戦略、ディスクレイアウト、キャッシュ、クエリ実行、更新機構は、ディスク上に居住するグラフ ANN 検索の throughput と recall にどのように影響を及ぼすか。
• RQ2 五つのコンポーネント全体における次元数とワークロード依存のトレードオフは何か。
• RQ3 データ特性やデプロイ制約の下で、ディスク上に居住するグラフ ANN システムを選択・設定する際の実用的な指針は何か。

主な発見

• ベクトル次元はコンポーネントの有効性を根本的に再構成し、次元依存の設計を要する。
• レイアウト戦略は驚くほど低い I/O 利用率を示し、しばしば 15% 以下になる。
• ページサイズは実現性と効率性において重大な影響を与え、レイアウトが最適化されている場合には小さなページが有利になる一方、非常に小さなページではある方法が実現不可能になる。
• 非同期実行は I/O 待ち時間を隠すために必須であり、次元性が大きくなるにつれて重要性が増す。
• インプレース更新とアウトオブプレース更新のワークロード依存のトレードオフが存在し、鮮度と保守コストに影響を与える。
• 本研究は実用的な指針を提供し、将来の研究の有望な方向性を特定している。