[論文レビュー] Efficient Discovery of Variable-length Time Series Motifs with Large Length Range in Million Scale Time Series

Yifeng Gao, Jessica Lin|arXiv (Cornell University)|Feb 13, 2018

Time Series Analysis and Forecasting参考文献 24被引用数 10

ひとこと要約

本稿では、100万スケールの時系列データにおいて、広範な長さ範囲（300–3000）の可変長時系列モチーフを効率的に発見するための階層的近似アルゴリズムHIMEを提案する。可変長部分列をインデックス化するためのシンボルテーブルを活用し、グリーディで階層的な列挙戦略を採用することで、HIMEは1分未塔の実行時間を達成し、類似のタスクに数時間から数日を要する最先端手法を著しく上回る性能を発揮する。

ABSTRACT

Detecting repeated variable-length patterns, also called variable-length motifs, has received a great amount of attention in recent years. Current state-of-the-art algorithm utilizes fixed-length motif discovery algorithm as a subroutine to enumerate variable-length motifs. As a result, it may take hours or days to execute when enumeration range is large. In this work, we introduce an approximate algorithm called HierarchIcal based Motif Enumeration (HIME) to detect variable-length motifs with a large enumeration range in million-scale time series. We show in the experiments that the scalability of the proposed algorithm is significantly better than that of the state-of-the-art algorithm. Moreover, the motif length range detected by HIME is considerably larger than previous sequence-matching based approximate variable-length motif discovery approach. We demonstrate that HIME can efficiently detect meaningful variable-length motifs in long, real world time series.

研究の動機と目的

• 特にモチーフ長範囲が広がる場合に顕著なスケーラビリティのボトル neck を解消すること。
• 一度の実行で長さが変動し、未知の長さのモチーフを検出できない固定長モチーフ発見の限界を克服すること。
• 高いノイズと長さ制約により、従来のシーケンスマッチングベースのアプローチが見逃してしまう、長くまれで意味のあるモチーフの効率的検出を可能にすること。
• 電力使用、ゲノム、バイオアコースティクスなど、100万スケールの時系列を含む実世界の応用に実用的なソリューションを提供すること。
• 固定長パターンにとどまらない、多様な分野における複雑で繰り返し現れる構造を解き明かすために、モチーフ発見の適用範囲を拡張すること。

提案手法

• 可変長時系列部分列の離散化表現を格納するシンボルテーブルを用い、効率的なインデックス化と比較を可能にする。
• 最小モチーフ長から出発し、類似度スコアに基づいてグリーディに長さを拡張する階層的列挙戦略を適用する。
• 次元削減とノイズ低減を図るため、ピecewise aggregate approximation（PAA）を活用し、スケーラビリティとロバストネスを向上させる。
• 高密度のモチーフ候補を優先するグリーディ検索メカニズムを統合し、距離計算の回数を削減する。
• スライディングウィンドウを用いて時系列を記号列に離散化し、その後シンボルテーブルの照会により繰り返しパターンを特定する。
• 検出されたモチーフのすべてのインスタンスを取得するクエリアルゴリズムを適用し、モチーフ出現の検証と分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 近似アルゴリズムとして、100万スケールの時系列データにおいて、広範な長さ範囲（例：300–3000）の可変長モチーフを効率的に発見できるか？
• RQ2 HIMEアルゴリズムは、最先端の固定長モチーフ発見手法や文法誘導ベースの可変長モチーフアルゴリズムと比較して、スケーラビリティと実行時間でどのように優れているか？
• RQ3 HIMEは、固定長またはシーケンスマッチングベースのアプローチが見逃す、長くまれで生物学的・行動学的に意味のあるモチーフを検出できるか？
• RQ4 計算量的複雑性と実用的妥当性の観点から、HIMEの階層的で記号ベースのアプローチは、ブルートフォースや全列挙に比べてどの程度優れているか？
• RQ5 HIMEは、DNA配列、鳥の声、電力使用などの実世界の時系列において、従来検出できなかった構造的パターンを解き明かすことができるか？

主な発見

• HIMEは、100万長の時系列データにおいて、300から3000の長さのモチーフを1分未塔で検出でき、極めて優れたスケーラビリティを示した。
• 本アルゴリズムは、固定長モチーフ発見やシーケンスマッチング手法では検出不可能な、長くまれなモチーフも検出可能である。具体的には、冷蔵庫の電力使用データで10時間のパターン、ヒトのY染色体DNAで22,000長のモチーフを検出した。
• 740万長の電力使用時系列データにおいて、1か月と7日間隔で現れるまれなモチーフをHIMEが同定した。これは、短い時間窓では検出できない。
• 洗濯機の電力需要時系列において、1534点（2.5時間）のモチーフと2791点（4.6時間）のモチーフを検出できたが、これらは350点の周期を持つ固定長モチーフ発見では見逃されていた。
• 鳥の音声データでは、種に特徴的なパターン（例：1.5秒の沈黙、0.5秒の発声ギャップ）をHIMEが同定し、固定長手法では検出できない行動的インサイトを明らかにした。
• 文法誘導ベースのアプローチと比較して、HIMEは検出可能なモチーフ長範囲を1桁上昇させ、長くノイズが多いが高頻度で類似する部分列の発見を可能にした。