[論文レビュー] OOD-DiskANN: Efficient and Scalable Graph ANNS for Out-of-Distribution Queries

Shikhar Jaiswal, Ravishankar Krishnaswamy+3 more|arXiv (Cornell University)|Oct 22, 2022

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

OOD-DiskANNは、インデックス構築時に少数のOODクエリを活用することで、分布外（OOD）クエリを効率的に処理できる、変更されたグラフベースの近似最近傍探索（ANNS）インデックスを提案する。クエリに適応した製品量子化と並列化されたグラフ再順序付けアルゴリズムを統合することで、OODクエリに対して、最先端の手法と比較して最大40％の遅延低減を達成しながら、高い再現率を維持し、構築時間およびメモリ使用量も同等のままである。

ABSTRACT

State-of-the-art algorithms for Approximate Nearest Neighbor Search (ANNS) such as DiskANN, FAISS-IVF, and HNSW build data dependent indices that offer substantially better accuracy and search efficiency over data-agnostic indices by overfitting to the index data distribution. When the query data is drawn from a different distribution - e.g., when index represents image embeddings and query represents textual embeddings - such algorithms lose much of this performance advantage. On a variety of datasets, for a fixed recall target, latency is worse by an order of magnitude or more for Out-Of-Distribution (OOD) queries as compared to In-Distribution (ID) queries. The question we address in this work is whether ANNS algorithms can be made efficient for OOD queries if the index construction is given access to a small sample set of these queries. We answer positively by presenting OOD-DiskANN, which uses a sparing sample (1% of index set size) of OOD queries, and provides up to 40% improvement in mean query latency over SoTA algorithms of a similar memory footprint. OOD-DiskANN is scalable and has the efficiency of graph-based ANNS indices. Some of our contributions can improve query efficiency for ID queries as well.

研究の動機と目的

• クロスモodalなテキストから画像への検索のような、クエリが分布外（OOD）である場合に生じるANNSシステムにおける顕著な性能低下を是正すること。
• インデックスのメモリ使用量や構築時間の増加を伴わずに、OODクエリの検索効率を向上させつつ、インディストリビューション（ID）クエリのパフォーマンスを損なわないこと。
• インデックス構築時にOODクエリの小さなサンプルのみを用いて、OODクエリの分布に適応可能なスケーラブルなディスクベースのANNSシステムを構築すること。
• ベースデータとは異なる分布からのクエリを想定した状況において、クエリに適応したアプローチと動的ピボット学習を導入することで、製品量子化方式をOOD状況に適合させること。
• ディスク上に配置された大規模ANNSワークロードを想定し、DiskANNのグラフ再順序付けステップを並列化・最適化すること。

提案手法

• インデックス構築時に、インデックスサイズの1％程度の少数のOODクエリを統合することで、OODクエリのためのより良いルーティングを実現する。
• ベースデータとOODクエリの両方の再構成誤差を最小化するように学習される、クエリに適応した製品量子化（APQ）と、アダプティブなOQ（AOPQ）を導入する。
• 最新のグラフ再順序付けアルゴリズムを改造し、並列化することで、ディスク上に配置されたANNSシステムにおけるI/Oと検索効率を向上させる。
• マハラノビス距離のヒストグラムを代理指標として用い、分布シフトの体系的評価を可能にする。
• 検索時にビームサーチを実行し、ビーム幅を4に設定し、マルチコアハードウェアにおける遅延最適化のため16の検索スレッドを用いる。
• 固定されたRAM予算200 GBを維持し、メモリ内またはディスク上に配置されたストレージに応じて、M = DまたはM = D/4の8ビット製品量子化を採用する。

実験結果

リサーチクエスチョン

• RQ1 少数のOODクエリを用いることで、インディストリビューション性能を損なわず、OODクエリのANNS効率を顕著に向上させることができるか？
• RQ2 ベースデータとは異なる分布からのクエリに対して、製品量子化をどのように適合させれば、量子化誤差を低減できるか？
• RQ3 並列化されたグラフ再順序付けが、ディスク上に配置されたANNSシステムにおけるI/Oと遅延に与える影響は何か？
• RQ4 クエリ分布に敏感なインデックス構築技術を用いることで、IDクエリとOODクエリの遅延差をどの程度縮められるか？
• RQ5 提案手法は、メモリ使用量と構築時間の効率を維持しつつ、OODクエリにおいて最先端の再現率と遅延のトレードオフを達成できるか？

主な発見

• OOD-DiskANNは、最先端のANNS手法と比較して、OODクエリの平均遅延を10–25％低減し、同じ再現率目標において最大40％の遅延改善を達成した。
• 検索中のI/Oリクエストが15–40％削減され、遅延低減に直接寄与した。
• 構築時間は7–12％増加したが、ピークRAM使用量やディスク使用量に増加はなく、メモリと構築時間の効率が維持された。
• クエリに適応した製品量子化（APQ）とアダプティブOQ（AOPQ）は、OODクエリの量子化誤差を顕著に低減し、検索効率を向上させた。
• 並列化されたグラフ再順序付けアルゴリズムは、I/Oを低減し、ディスク上に配置された大規模データセットにおいても高いパフォーマンスを維持した。
• Yandex Text-to-Image-1B、Turing Text-to-Image、Web Adsの3つの大規模データセットにおいて、本手法はOODクエリの分野で、既存のANNSシステムを一貫して上回った。