[論文レビュー] Indexing Metric Spaces for Exact Similarity Search

Lu Chen, Yunjun Gao+5 more|arXiv (Cornell University)|May 7, 2020

Data Management and Algorithms被引用数 7

ひとこと要約

本稿は、メトリック空間における正確な類似検索のインデクシング技術について、包括的なサーベイと実験的評価を提示している。主な焦点は、パーティショニング、プルーニング、検証戦略に向けられている。インデックス構築の時間計算量と空間計算量の分析を行い、多様なデータ分布におけるパフォーマンスベンチマークを提供することで、最適なインデクシング手法の選定や研究の空白を特定する実用的指針を提示している。

ABSTRACT

With the continued digitization of societal processes, we are seeing an explosion in available data. This is referred to as big data. In a research setting, three aspects of the data are often viewed as the main sources of challenges when attempting to enable value creation from big data: volume, velocity, and variety. Many studies address volume or velocity, while fewer studies concern the variety. Metric spaces are ideal for addressing variety because they can accommodate any data as long as it can be equipped with a distance notion that satisfies the triangle inequality. To accelerate search in metric spaces, a collection of indexing techniques for metric data have been proposed. However, existing surveys offer limited coverage, and a comprehensive empirical study exists has yet to be reported. We offer a comprehensive survey of existing metric indexes that support exact similarity search: we summarize existing partitioning, pruning, and validation techniques used by metric indexes to support exact similarity search; we provide the time and space complexity analyses of index construction; and we offer an empirical comparison of their query processing performance. Empirical studies are important when evaluating metric indexing performance, because performance can depend highly on the effectiveness of available pruning and validation as well as on the data distribution, which means that complexity analyses often offer limited insights. This article aims at revealing strengths and weaknesses of different indexing techniques to offer guidance on selecting an appropriate indexing technique for a given setting, and to provide directions for future research on metric indexing.

研究の動機と目的

• メトリック空間における正確な類似検索のための既存のインデクシング技術について、体系的なサーベイを提供すること。
• 異なる手法におけるインデックス構築の時間計算量と空間計算量を分析すること。
• 多様なデータ分布およびプルーニング効果の変動下でのクエリ処理パフォーマンスを実験的に評価すること。
• 実用的導入のための、既存手法の長所と短所を特定すること。
• メトリックインデクシングにおける未開拓分野やパフォーマンスボトルネックを浮き彫りにすることで、今後の研究を導くこと。

提案手法

• パーティショニング、プルーニング、検証技術の使用に基づいて、既存のメトリックインデックスを分類すること。
• 複数のインデキシングファミリーにわたるインデックス構築の時間計算量と空間計算量の分析を実施すること。
• 多様な実世界および合成データセット上で、広範なメトリックインデックスを実装し、ベンチマーク化すること。
• データ分布、距離関数、インデックスパラメータの変動下でのクエリパフォーマンスを評価すること。
• 実験的評価において、プルーニング効果と検証戦略を主なパフォーマンス指標として用いること。
• インデックス間の比較を通じて、構築コスト、ストレージ、クエリ効率の間のトレードオフを同定すること。

実験結果

リサーチクエスチョン

• RQ1 どのインデクシング技術が、構築コスト、ストレージ、クエリパフォーマンスの間で最も良好なバランスを実現するか？
• RQ2 データ分布は、メトリックインデックスにおけるプルーニングおよび検証の有効性にどのように影響するか？
• RQ3 理論的計算量解析は、メトリックインデクシングにおける実世界のパフォーマンスをどの程度正確に予測できるか？
• RQ4 正確な類似検索における、異なるパーティショニングおよびプルーニング戦略の相対的な長所と短所は何か？
• RQ5 どのインデックス設計パターンが、多様なデータタイプおよび距離関数に対して最も頑健か？

主な発見

• 実験的パフォーマンスはインデックス間で顕著に異なるが、データ分布やプルーニング効果の影響により、理論的計算量解析の予測と矛盾することが多い。
• 効果的なプルーニング戦略に依存するインデックスは、特に高次元データにおいて、他のインデックスを上回るクエリ速度を示す。
• パーティショニング手法の選択は、構築時間とクエリ効率の両方にとって顕著な影響を与える。
• 検証技術は誤検出を顕著に低減し、正確な類似検索における精度とパフォーマンスを向上させる。
• 特定のインデックス構造がすべてのデータセットで優位に立つことはなく、パフォーマンスはデータ特性と距離関数に強く依存する。
• 計算量解析だけではパフォーマンス予測が不十分であり、意味のある比較を行うためには実験的評価が不可欠である。