[論文レビュー] Vector Search for the Future: From Memory-Resident, Static Heterogeneous Storage, to Cloud-Native Architectures

Yitong Song, Xuanhe Zhou+2 more|arXiv (Cornell University)|Jan 5, 2026

Advanced Image and Video Retrieval Techniques被引用数 0

ひとこと要約

論文は、ベクトル検索技術がメモリ内・異種メモリ–SSD・エラスティックなマルチティアのクラウド志向ストレージアーキテクチャを通じてどのように進化するかを調査し、設計原理、インデックスの種類、そして未解決の研究課題を強調します。

ABSTRACT

Vector search (VS) has become a fundamental component in multimodal data management, enabling core functionalities such as image, video, and code retrieval. As vector data scales rapidly, VS faces growing challenges in balancing search, latency, scalability, and cost. The evolution of VS has been closely driven by changes in storage architecture. Early VS methods rely on all-in-memory designs for low latency, but scalability is constrained by memory capacity and cost. To address this, recent research has adopted heterogeneous architectures that offload space-intensive vectors and index structures to SSDs, while exploiting block locality and I/O-efficient strategies to maintain high search performance at billion scale. Looking ahead, the increasing demand for trillion-scale vector retrieval and cloud-native elasticity is driving a further shift toward memory-SSD-object storage architectures, which enable cost-efficient data tiering and seamless scalability. In this tutorial, we review the evolution of VS techniques from a storage-architecture perspective. We first review memory-resident methods, covering classical IVF, hash, quantization, and graph-based designs. We then present a systematic overview of heterogeneous storage VS techniques, including their index designs, block-level layouts, query strategies, and update mechanisms. Finally, we examine emerging cloud-native systems and highlight open research opportunities for future large-scale vector retrieval systems.

研究の動機と目的

• storageアーキテクチャがベクトル検索手法の設計と大規模での性能にどのように影響するかを動機付け、説明する。
• memory-resident VS 技術を IVF/ハッシュ/量子化/グラフのファミリにわたって系統的にレビューする。
• 異種メモリ–SSD VS 方法とそれらのブロックレベルのレイアウト、I/Oを意識した戦略、更新を包括的に把握する。
• 新興のエラスティックなマルチティア、クラウドネイティブ VS アーキテクチャを探究し、未解決の研究機会を概説する。

提案手法

• ストレージアーキテクチャ別にベクトル検索技術を分類する：メモリ resident、異種メモリ–SSD、エラスティックなマルチティアのクラウドネイティブシステム。
• 4つのメモリ resident VS ファミリ（IVF、ハッシュ、量子化、グラフ）とそれらの性能特性を検討する。
• SSIフレンドリなレイアウト、ブロック認識の投稿リスト、I/O効率の探査戦略を用いた異種ストレージ VS 設計をIVF-・グラフ-・ツリーベースの手法を横断して説明する。
• SSD在住インデックスにおけるI/Oを減らし局在性を改善する粗->細の設計とディスク対応設計を提示する。
• クラウドネイティブ文脈における memory–SSD–オブジェクトストレージをまたぐエラスティックなマルチティアアーキテクチャとティア内のクエリ/更新パイプラインを強調する。
• ティア設計の共設計、適応キャッシュ、費用対効果とスケーラビリティを備えた研究方向を特定する。

実験結果

リサーチクエスチョン

• RQ1 メモリ resident VS 手法は IVF、ハッシュ、量子化、グラフのインデックス設計と更新サポートでどう異なるか？
• RQ2 SSD在住およびディスクベースのベクトル検索を可能にする設計原理とデータレイアウトは何か？
• RQ3 エラスティックなマルチティア、クラウドネイティブアーキテクチャはベクトル検索の設計、性能、コストにどう影響するか？
• RQ4 スケーラブルでクラウドネイティブなベクトル検索システムにはどのような未解決の研究機会が残されているか？

主な発見

• メモリ resident VS 手法は高い性能を達成するが、メモリコストとベクトル量の制約によりスケーラビリティの制約を受ける。
• 異種ストレージ VS はルーティングと粗いプルーニングにメモリを使用し、SSD がベクトルと細粒度インデックスを保持し、ランダムアクセスを減らすためのI/O意識のレイアウトを採用する。
• SSD上でのナビゲーション性を維持するには、ディスク対応のグラフ設計とブロック局所性のレイアウトが不可欠であり、粗->細探索と非同期I/O により待機時間を隠す。
• エラスティックなマルチティアVSアーキテクチャは、メモリ、SSD、オブジェクトストア間でデータを階層化し、ホットデータの動的プロモーションにより、十兆規模の検索を可能にする。
• 実務システム（例：Zilliz Cloud、TurboPuffer）は実用的なデプロイを示し、ティア認識のインデックス共設計、適応キャッシュ、コスト最適化の将来方向を示唆する。