[論文レビュー] Fast Randomized Model Generation for Shapelet-Based Time Series Classification

Daniel Gordon, Danny Hendler+1 more|arXiv (Cornell University)|Sep 23, 2012

Time Series Analysis and Forecasting参考文献 10被引用数 16

ひとこと要約

本稿では、形状特徴量を一様にランダムに抽出することで、全形状特徴量空間からサンプリングするランダム化アルゴリズムSALSA-Rを提案する。わずかに少数の形状特徴量を評価するだけで高い精度を達成する。高品質な形状特徴量がクラスタ構造を示すことに着目し、SALSA-Rは急速に収束する。大規模データセットでさえも、数分で最先端に近い精度のモデルを生成する。

ABSTRACT

Time series classification is a field which has drawn much attention over the past decade. A new approach for classification of time series uses classification trees based on shapelets. A shapelet is a subsequence extracted from one of the time series in the dataset. A disadvantage of this approach is the time required for building the shapelet-based classification tree. The search for the best shapelet requires examining all subsequences of all lengths from all time series in the training set. A key goal of this work was to find an evaluation order of the shapelets space which enables fast convergence to an accurate model. The comparative analysis we conducted clearly indicates that a random evaluation order yields the best results. Our empirical analysis of the distribution of high-quality shapelets within the shapelets space provides insights into why randomized shapelets sampling is superior to alternative evaluation orders. We present an algorithm for randomized model generation for shapelet-based classification that converges extremely quickly to a model with surprisingly high accuracy after evaluating only an exceedingly small fraction of the shapelets space.

研究の動機と目的

• 中程度のサイズのデータセットで数日もかかる形状特徴量ベースの分類木の学習コストを低減すること。
• YKアルゴリズムが全部分列に対して全検索を行う非効率性を克服すること。
• 評価順序の代替手法（例：二分探索、長さベース）が、ランダムサンプリングに比べて収束速度と精度で優れているかどうかを調査すること。
• モデル品質が安定した段階で探索を自動停止させる自己終了型アルゴリズムを開発し、計算量を削減しながら性能を損なわないようにすること。
• 高品質な形状特徴量が非一様にクラスタリングされていることから、ランダムサンプリングが優れている理由を解明すること。

提案手法

• 長さや位置に関係なく、全形状特徴量空間から一様にランダムに形状特徴量を抽出する自己終了型アルゴリズムSALSA-Rを提案する。
• 形状特徴量をランダム順に評価し、新たに抽出された形状特徴量の品質（情報量の増加とマージン）をモニタリングする。
• 形状特徴量の品質向上がしきい値ε = 0.01未満に下がった段階で探索を停止し、収束を示す。
• 各評価済み形状特徴量からすべての時系列への距離をキャッシュし、以降の木構築を高速化する。
• 各形状特徴量のクラス分割能力に基づいて事前に計算されたしきい値を用い、距離比較による高速分類を可能にする。
• SALSA-Rを元のYKアルゴリズムおよび先行のプルーニング手法と比較し、精度、評価済み形状特徴量数、実行時間を指標とする。

実験結果

リサーチクエスチョン

• RQ1 形状特徴量の評価順序をランダムにした場合、体系的または二分探索ベースの順序に比べ、高精度なモデルへの収束が速いかどうか。
• RQ2 ランダムサンプリングに基づく自己終了型アルゴリズムが、全検索法と同等の精度を達成しながら、形状特徴量のわずか少数を評価できるか。
• RQ3 高品質な形状特徴量が非一様に分布しているにもかかわらず、なぜランダムサンプリングが構造的探索順序よりも効果的なのか。
• RQ4 形状特徴量の評価数を減らすと過学習や精度低下が生じるか。SALSA-Rはそのリスクをどのように回避しているか。
• RQ5 SALSA-Rの性能はデータセットサイズの増加に伴いどのようにスケーリングするか。また、先行手法に比べて顕著な高速化を維持できるか。

主な発見

• SALSA-Rは、テストした全データセットで、先行手法（例：YKやプルーニングベース手法）の精度の2%以内に収束する。特にコーヒー、mallat、wheatの3つのデータセットで改善が見られた。
• 平均して、SALSA-Rは形状特徴量空間全体の0.1%～1%しか評価しない。例：mallatでは1.0e7個中1.8e4個。
• 学習時間を、大規模データセットでさえも、数日（例：mallatで>1.2e6秒）から1000秒未塔（例：mallatでNI=100kのとき954秒）に短縮した。
• アローヘッドやコーヒーのような小規模データセットでは、255秒未塔でほぼ最適な精度（例：80.0% vs. 78.4%）を達成した。これに対して、先行手法では2400秒以上を要した。
• 精度の標準偏差は低く（例：1.3–5.6%）、ランダムサンプリングにかかわらず一貫した性能を示し、ロバストであることが示された。
• 過学習は、あまりに多くの形状特徴量を考慮すると発生する可能性があることが判明し、最適な性能を達成するには、高品質な少数のサブセットで十分であることが示された。