[論文レビュー] The Lernaean Hydra of Data Series Similarity Search: An Experimental Evaluation of the State of the Art

Karima Echihabi, Kostas Zoumpatianos+2 more|arXiv (Cornell University)|Jun 20, 2020

Time Series Analysis and Forecasting参考文献 77被引用数 12

ひとこと要約

本論文は、同一条件下で10種類の最先端手法を比較する、正確な全体一致データ系列類似検索技術の最初の体系的実験的評価を提示する。性能のボトル neck を同定し、統一された用語体系を確立し、データサイズ、系列長、ストレージタイプ（例：HDD 対 SSD）に基づいたハードウェアに配慮した最適なアプローチ選定のための提言を提供する。

ABSTRACT

Increasingly large data series collections are becoming commonplace across many different domains and applications. A key operation in the analysis of data series collections is similarity search, which has attracted lots of attention and effort over the past two decades. Even though several relevant approaches have been proposed in the literature, none of the existing studies provides a detailed evaluation against the available alternatives. The lack of comparative results is further exacerbated by the non-standard use of terminology, which has led to confusion and misconceptions. In this paper, we provide definitions for the different flavors of similarity search that have been studied in the past, and present the first systematic experimental evaluation of the efficiency of data series similarity search techniques. Based on the experimental results, we describe the strengths and weaknesses of each approach and give recommendations for the best approach to use under typical use cases. Finally, by identifying the shortcomings of each method, our findings lay the ground for solid further developments in the field.

研究の動機と目的

• データ系列類似検索で用いられる多様な用語を統一的かつ形式的に定義し、先行研究において混乱や誤解を生じさせてきた要因を解消すること。
• 同一の実装および最適化条件下で、正確な全体一致類似検索手法の最初の体系的で公平かつ大規模な実験的評価を実施すること。
• 各手法の強み・弱みおよびパフォーマンスボトル neck を特定し、特にインデクシングおよびクエリ処理段階における CPU および I/O コストに焦点を当てる。
• データ特性、ハードウェア（HDD 対 SSD）、クエリワークロードに基づいて、最適な類似検索アプローチを選定するデータ駆動型の提言を提供すること。
• 将来的な研究の基盤を築くために、バルクロード、バッファリング、非同期 I/O などの有望な最適化方向を同定すること。

提案手法

• 実装バイアスを排除するために、すべての10種類の類似検索手法を C/C++ で実装し、非 C/C++ のコードベースについても同等の最適化を再実装した。
• すべての手法に均一なパフォーマンス最適化を適用し、メモリ管理、ユークリッド距離計算、ループレベルのチューニングを含めた。
• ファイナンス、ヘルスケア、地震学など多様な分野をカバーする4つの実世界および合成データセットを用いて、スケーラビリティとロバストネスを評価した。
• さまざまな難易度のクエリワークロードを設計・実行し、すべての手法のストレステストを行い、現実的な条件下でのパフォーマンスを測定した。
• CPU および I/O コストを別々に測定・分析し、特にインデクシングおよびクエリ応答段階におけるパフォーマンスボトル neck を特定した。
• データクラスタリングおよびプリーニング比がアクセスパターンに与える影響、特にストレージハードウェア（HDD 対 SSD）との関連性を評価した。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットおよびワークロードにおいて、正確な全体一致クエリに対して最も優れた全体的パフォーマンスを達成するデータ系列類似検索手法はどれか？
• RQ2 CPU および I/O コストはインデクシングおよびクエリ段階にどのように分配されており、どのコンponent が主なパフォーマンスボトル neck となっているか？
• RQ3 データクラスタリングおよびプリーニング比は、インデックス構造がランダム I/O を低減し、クエリ処理を高速化する効果にどの程度影響を与えるか？
• RQ4 ハードウェア特性（例：HDD 対 SSD）および I/O パatters は、異なるインデックス戦略の相対的パフォーマンスにどのように影響を与えるか？
• RQ5 バルクロード、バッファリング、非同期 I/O などのハードウェアに配慮した最適化によって、DSTree や VA+file、ADS+ のパフォーマンスはさらなる向上が可能か？

主な発見

• DSTree は最も速いクエリパフォーマンスを達成しているが、インデクシング時間は高く、その85–90%が CPU バウンドの処理に費やされているため、バルクロードおよび並列処理による最適化の余地がある。
• VA+file MASS は全体一致を想定して設計されていないが、並列処理と現代のハードウェアを組み合わせることで強く潜在的である。実行時間の90%が CPU バウンドである。
• ADS+ は長い系列に対して優れたパフォーマンスを示すが、過剰なスキップに起因する多数の小さなランダム I/O がクエリ速度を制限している。
• iSAX および SFA ベースのインデックスのパフォーマンスは、固定解像度の要約化と硬直的な分割点に起因して制限されており、効果的なデータクラスタリングが不可能となり、高速なインデクシングにもかかわらずクエリパフォーマンスが低い。
• 難易度の高いクエリでは、プリーニング比が低い場合、ランダム I/O のオーバーヘッドが低減するため、インデックスを使用するよりもシーケンシャルスキャンが優れる。特に HDD では顕著である。
• インデックスの使用とシーケンシャルスキャンの間の意思決定は単純ではなく、プリーニング比、データクラスタリング、ハードウェア I/O 特性の組み合わせに依存する。これは、分野における新たな最適化問題のクラスを示している。