[論文レビュー] KV-match: An Efficient Subsequence Matching Approach for Large Scale Time Series.

Jiaye Wu, Peng Wang+3 more|arXiv (Cornell University)|Oct 2, 2017

Time Series Analysis and Forecasting参考文献 20被引用数 1

ひとこと要約

本稿では、時系列データベース（TSDB）システムにおける大規模時系列データ向けに、効率的な部分列照合手法KV-matchを提案する。ファイルベースのKVインデックス構造と、ウィンドウ削減や再順序化などの最適化を施したクエリアルゴリズムを導入することで、最小限の順方向スキャンに基づく照合を実現し、従来手法と比較して1桁の速度向上を達成しながら、木構造インデックスと同等のインデックスサイズを維持する。

ABSTRACT

Time series data have exploded due to the popularity of new applications, like data center management and IoT. Time series data management system (TSDB), emerges to store and query the large volume of time series data. Subsequence matching is critical in many time series mining algorithms, and extensive approaches have been proposed. However, the shift of distributed storage system and the performance gap make these approaches not compatible with TSDB. To fill this gap, we propose a new index structure, KV-index, and the corresponding matching algorithm, KV-match. KV-index is a file-based structure, which can be easily implemented on local files, HDFS or HBase tables. KV-match algorithm probes the index efficiently with a few sequential scans. Moreover, two optimization techniques, window reduction and window reordering, are proposed to further accelerate the processing. To support the query of arbitrary lengths, we extend KV-match to KV-match$_{DP}$, which utilizes multiple varied length indexes to process the query simultaneously. A two-dimensional dynamic programming algorithm is proposed to find the optimal query segmentation. We implement our approach on both local files and HBase tables, and conduct extensive experiments on synthetic and real-world datasets. Results show that our index is of comparable size to the popular tree-style index while our query processing is order of magnitudes more efficient.

研究の動機と目的

• 従来の部分列照合アルゴリズムと、現代の分散型時系列データベース（TSDB）システムとの間の性能ギャップを是正すること。
• HDFS や HBase などの分散ストレージシステムと互換性を持つインデックス構造を設計し、大規模時系列データの効率的クエリを可能にすること。
• ウィンドウ削減やウィンドウ再順序化といった新たな最適化を通じて、部分列照合の高速化を実現すること。
• 複数長さのインデックスと動的計画法に基づくセグメンテーションを用いて、KV-match$_{DP}$ に拡張することで、任意長のクエリをサポートすること。
• インデックスサイズを犠牲にせずに高いクエリ効率を達成し、実世界のTSDB環境における実用的導入を可能にすること。

提案手法

• ローカルファイル、HDFS、HBaseテーブルの各環境にネイティブに展開可能なファイルベースのインデックス構造「KV-index」の設計。
• インデックスの最小限の順方向スキャンに基づいて効率的な部分列照合を実行する「KV-match」アルゴリズムの開発。
• 照合処理中に検査される候補ウィンドウ数を最小限に抑えるためのウィンドウ削減の導入。
• クエリ処理中のキャッシュ効率の向上とI/Oオーバーヘッドの低減を図るためのウィンドウ再順序化の適用。
• 複数の異なる長さのインデックスを用いて、任意長のクエリをサポートするためのKV-match$_{DP}$ への拡張。
• 最大の効率を達成するための、異なるインデックス長にわたるクエリの最適セグメンテーションを決定する2次元動的計画法の設計。

実験結果

リサーチクエスチョン

• RQ1 大規模時系列データベースにおける部分列照合に、ファイルベースのインデックス構造を効率的に使用できるか。
• RQ2 ウィンドウ削減とウィンドウ再順序化は、分散ストレージシステムにおける部分列照合の性能をどのように向上させるか。
• RQ3 スケーラブルなインデックス構造において、任意長の部分列クエリを最適に処理する方法は何か。
• RQ4 KV-matchの性能は、従来の木構造インデックス手法と比較して、速度とインデックスサイズの両面でどのように差がつくか。
• RQ5 KV-matchは、ローカルファイルシステムおよびHBaseのような分散ストレージシステムの両方で高い効率を発揮できるか。

主な発見

• KV-matchは、人気のある木構造インデックスと同等のインデックスサイズを維持しながら、従来手法と比較してクエリ処理性能に1桁の向上を達成する。
• ウィンドウ削減とウィンドウ再順序化の最適化により、クエリ実行中のI/O操作数が著しく削減され、キャッシュ利用効率も向上する。
• 2次元動的計画法を用いた複数のインデックス構造への動的セグメンテーションにより、KV-match$_{DP}$ は任意長のクエリを効果的にサポートする。
• 提案手法は分散ストレージシステムとネイティブに互換性があり、HDFS や HBase への展開に最小限の工数で実現可能である。
• 合成データおよび実世界のデータセットを用いた実験的評価により、KV-matchが大規模時系列ワークロードにおいて高い効率性とスケーラビリティを発揮することが確認された。