[論文レビュー] A Learned Index for Exact Similarity Search in Metric Spaces

Yao Tian, Tingyun Yan+3 more|arXiv (Cornell University)|Apr 21, 2022

Data Management and Algorithms被引用数 10

ひとこと要約

本稿では、メトリック空間における正確な類似検索のための学習済みインデックスLIMSを提案する。LIMSは、データのクラスタリングとピボットに基づく変換を用いて、全順序が保証された均一な分布を持つクラスタにデータを整理する。機械学習モデルを用いてデータレコードの位置を予測することで、従来のインデックスおよび最先端の学習済みインデックスに比べ、インデックスサイズが小さく、スケーラビリティに優れ、特に高次元および動的ワークロード下でも高速なクエリ処理を実現する。

ABSTRACT

Indexing is an effective way to support efficient query processing in large databases. Recently the concept of learned index, which replaces or complements traditional index structures with machine learning models, has been actively explored to reduce storage and search costs. However, accurate and efficient similarity query processing in high-dimensional metric spaces remains to be an open challenge. In this paper, we propose a novel indexing approach called LIMS that uses data clustering, pivot-based data transformation techniques and learned indexes to support efficient similarity query processing in metric spaces. In LIMS, the underlying data is partitioned into clusters such that each cluster follows a relatively uniform data distribution. Data redistribution is achieved by utilizing a small number of pivots for each cluster. Similar data are mapped into compact regions and the mapped values are totally ordinal. Machine learning models are developed to approximate the position of each data record on disk. Efficient algorithms are designed for processing range queries and nearest neighbor queries based on LIMS, and for index maintenance with dynamic updates. Extensive experiments on real-world and synthetic datasets demonstrate the superiority of LIMS compared with traditional indexes and state-of-the-art learned indexes.

研究の動機と目的

• 高次元のメトリック空間における既存の学習済みインデックスの限界、特に正確な類似検索のサポート不足と次元の呪いに起因する性能低下を解消すること。
• 座標に基づくパーティショニングに依存せずに、メトリック空間における正確なポイント検索、範囲検索、k-NN検索をサポートするディスクベースの学習済みインデックス構造を設計すること。
• データのクラスタリング、ピボットに基づく変換、および位置予測のための学習モデルを活用することで、記憶領域のオーバーヘッドを低減し、クエリ効率を向上させること。
• インクリメンタルな再トレーニングと部分的再構築を用いて、動的更新に対しても効率的なインデックスメンテナンスを可能とすること。
• 正確性を維持しながら、近似学習済みインデックスで一般的な偽陰性を回避する高パフォーマンスかつ高スケーラビリティを実現すること。

提案手法

• LIMSは、各クラスタ内でのデータ分布が均一になるように、距離に基づくクラスタリングを用いてメトリック空間のデータをクラスタに分割する。
• 各クラスタに対して、少数のピボットが選択され、データオブジェクトがこれらのピボットからの距離ベクトルに変換される。これにより、次元数がピボット数に低下する。
• ピボットに基づく変換により、類似したデータがコンパクトで順序付けられた領域にマップされ、データレコードの全順序付けが可能となり、効率的な検索が可能になる。
• 機械学習モデル（順位予測モデル）をトレーニングし、各データレコードのディスク上の相対的位置を予測することで、木の走査ではなくO(1)の関数ベースの参照が可能になる。
• 範囲検索およびk-NN検索は、学習モデルの出力に対して指数的探索を適用することで、距離計算とI/O操作を最小限に抑える。
• 挿入後の影響を受けるクラスタに対して、インクリメンタルなモデル再トレーニングを実施し、インデックスメンテナンスをサポートする。平均して1クラスタあたり0.5秒の再トレーニング時間である。

実験結果

リサーチクエスチョン

• RQ1 座標構造や次元数が存在しないメトリック空間において、正確な類似検索に適した学習済みインデックスを効果的に設計できるか？
• RQ2 ピボットに基づくデータ変換とクラスタリングは、高次元のメトリック空間における学習済みインデックスの次元の呪いをどのように軽減できるか？
• RQ3 学習モデルを用いることで、B+ -tree や従来のインデックスと比較して、I/OおよびCPUコストをどの程度低減できるか？
• RQ4 LIMSは動的データ更新下でも性能を維持できるか。また、インクリメンタルなインデックスメンテナンスのコストはどの程度か？
• RQ5 学習モデルに基づくアプローチは、メトリック空間において高い正確性と低い記憶領域オーバーヘッドを両立できるか？

主な発見

• LIMSは、1000万オブジェクトのデータセットに4万件の挿入を加えた後でさえ、2番目に優れたインデックス（28.05ms vs. 94.68ms）を3.4倍以上高速に処理し、ゆっくりで安定した性能低下を示す。
• LIMSは、GaussMix上ではR*-treeの1/3、Signature上ではMLの1/23にまでインデックスサイズを削減し、顕著な記憶効率を実現する。
• LIMSにおける学習モデルベースの検索により、O(log n)の木走査を回避し、クエリ1件あたりO(1)の関数呼び出しで実現され、データサイズが大きくなるほどパフォーマンス優位性が顕著になる。
• 1つのクラスタの再トレーニングに平均0.5秒しかかからないため、最小限のオーバーヘッドで効率的な動的メンテナンスが可能である。
• LIMSは、B+ -treeを採用するN-LIMSよりもCPU時間および総合クエリ時間の両面で優れているため、位置予測における機械学習の有効性が裏付けられる。
• LIMSは、近似学習済みインデックスで一般的な偽陰性を一切発生させず、正確性を維持しながらも、優れた速度と記憶効率を達成している。