[論文レビュー] Return of the Lernaean Hydra: Experimental Evaluation of Data Series Approximate Similarity Search

Karima Echihabi, Kostas Zoumpatianos+2 more|arXiv (Cornell University)|Jun 20, 2020

Time Series Analysis and Forecasting参考文献 139被引用数 15

ひとこと要約

本稿では、正確なデータ系列インデキシング手法を拡張することで、正確性に関する理論的保証を提供する、データ系列向けの近似類似検索技術を提案および評価する。実験により、これらの変更を加えたデータ系列手法が、特にディスク上での状況において、最先端のベクトルベースの近似手法を上回ることを示しており、LSH手法と比較してより優れた実験的性能とよりタイトな誤差バウンディングを達成している。

ABSTRACT

Data series are a special type of multidimensional data present in numerous domains, where similarity search is a key operation that has been extensively studied in the data series literature. In parallel, the multidimensional community has studied approximate similarity search techniques. We propose a taxonomy of similarity search techniques that reconciles the terminology used in these two domains, we describe modifications to data series indexing techniques enabling them to answer approximate similarity queries with quality guarantees, and we conduct a thorough experimental evaluation to compare approximate similarity search techniques under a unified framework, on synthetic and real datasets in memory and on disk. Although data series differ from generic multidimensional vectors (series usually exhibit correlation between neighboring values), our results show that data series techniques answer approximate %similarity queries with strong guarantees and an excellent empirical performance, on data series and vectors alike. These techniques outperform the state-of-the-art approximate techniques for vectors when operating on disk, and remain competitive in memory.

研究の動機と目的

• 正確性の保証の質に基づいて、データ系列および多次元ベクトルコミュニティからの類似検索手法を統一的な用語で分類すること。
• 正確なデータ系列インデキシング手法を拡張し、近似類似検索を理論的正確性保証のもとでサポートすること。
• 主観的バイアスのない包括的な実験的評価を、主記憶と外部記憶の両設定で実施すること。
• データ系列特化の手法と汎用的ベクトル近似検索手法の効率性と正確性を比較すること。
• データセットのサイズ、正確性の要件、ハードウェア制約に基づいて最適な手法を選択するための実用的提案を提供すること。

提案手法

• 保証の質に基づいた類似検索手法の分類法を提案し、データ系列および多次元ベクトルコミュニティからの用語を統一する。
• 既存の正確なデータ系列インデキシング構造（例：DSTree, iSAX2+）を変更し、δ-ε-近似クエリを理論的近似誤差バウンディングのもとでサポートする。
• すべての手法の最適化されたC/C++実装を開発し、以前に高レベル言語で実装済みのアルゴリズムの新バージョン（より高速）を含む。
• 合成データおよび実世界のデータセットを用いた統一された実験フレームワークを採用し、2番目に大きな公開ベクトルデータセット（Deep25GBおよびDeep250GB）を含む。
• クエリ時間、インデックス構築時間、再現率、平均精度（MAP）、近似誤差の複数の基準を用いて性能を評価する。
• 段階的およびプログレッシブなクエリ応答戦略を導入・評価し、ユーザーのニーズに応じた相互作用性と適応性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 データ系列特化の近似類似検索手法は、汎用的ベクトルベースの近似検索手法と比較して、正確性と効率性の面でどのように異なるか？
• RQ2 正確なデータ系列インデキシング手法を、近似誤差に関する理論的保証を備えた近似クエリをサポートするように拡張可能か？
• RQ3 さまざまなデータサイズ、ストレージモデル（主記憶 vs. ディスク）、ワークロードにおいて、異なる近似検索手法の相対的な強みと弱みは何か？
• RQ4 LSHやその他の確率的手法と比較して、本稿で提案する決定的で誤差バウンディング付きのアプローチの性能と正確性はどのように異なるか？
• RQ5 インデックス構築時間、クエリ応答時間、ハードウェア利用効率の実用的影響は、最適な近似検索手法の選定にどのような意味を持つのか？

主な発見

• DSTree や iSAX2+ などの変更を加えたデータ系列インデキシング手法は、特にディスク上での状況において、HNSW や IMI といった最先端のベクトルベース近似手法を常に上回っており、インデックス構築およびクエリ効率の優位性に起因する。
• 正確なデータ系列手法への提案された拡張は、強い理論的保証（δ = 1）を達成しており、実験的正確性は理論的バウンディングを著しく上回っており、確率的保証（δ < 1）に依存するLSH手法を上回っている。
• HNSW や IMI は、多数の手動チューニングと長時間のトレーニング（1回あたり40時間以上）を要するため、大規模データセットを対象とした多くの実世界の展開には不適切である。
• DSTree は、インデックス構築時間も考慮した全体的なパフォーマンスで最優秀であり、小規模な主記憶データセットを除くほとんどのワークロードに推奨される。
• ng-近似クエリでは、iSAX2+ は競争力のある性能を示し、SIMD、マルチコア、GPUアクセcelerationといった現代のハードウェアを活用することでさらなる性能向上が可能である。
• 結果から、中間結果を段階的に精度を高めて返すプログレッシブなクエリ応答への研究的道筋が有望であることが示唆される。