[論文レビュー] From BOP to BOSS and Beyond: Time Series Classification with Dictionary Based Classifiers

James Large, Anthony Bagnall+2 more|arXiv (Cornell University)|Sep 18, 2018

Time Series Analysis and Forecasting被引用数 8

ひとこと要約

本論文は、2つの辞書ベースの時系列分類（TSC）アルゴリズム、BOPとBOSSの性能差を、その4つの主要な相違点に分解して調査する。本研究では、BOSSに空間ピラミッドとヒストグラムインターセクションを組み合わせた新規手法SP-HIを提案し、最先端の精度を達成した。これは標準のBOSSやベンチマークを著しく上回り、最良のシェイプレットベース手法やHIVE-COTEと同等の性能を示した。

ABSTRACT

A family of algorithms for time series classification (TSC) involve running a sliding window across each series, discretising the window to form a word, forming a histogram of word counts over the dictionary, then constructing a classifier on the histograms. A recent evaluation of two of this type of algorithm, Bag of Patterns (BOP) and Bag of Symbolic Fourier Approximation Symbols (BOSS) found a significant difference in accuracy between these seemingly similar algorithms. We investigate this phenomenon by deconstructing the classifiers and measuring the relative importance of the four key components between BOP and BOSS. We find that whilst ensembling is a key component for both algorithms, the effect of the other components is mixed and more complex. We conclude that BOSS represents the state of the art for dictionary based TSC. Both BOP and BOSS can be classed as bag of words approaches. These are particularly popular in Computer Vision for tasks such as image classification. Converting approaches from vision requires careful engineering. We adapt three techniques used in Computer Vision for TSC: Scale Invariant Feature Transform; Spatial Pyramids; and Histrogram Intersection. We find that using Spatial Pyramids in conjunction with BOSS (SP) produces a significantly more accurate classifier. SP is significantly more accurate than standard benchmarks and the original BOSS algorithm. It is not significantly worse than the best shapelet based approach, and is only outperformed by HIVE-COTE, an ensemble that includes BOSS as a constituent module.

研究の動機と目的

• BOPとBOSSが袋の単語（bag-of-words）TSC手法として構造的に類似しているにもかかわらず、BOSSがBOPを著しく上回る理由を解明すること。
• BOPとBOSSの4つの主要なアルゴリズム的相違点（アンサンブル、フーリエ変換、データ駆動型離散化、距離測度）の相対的影響を分離し、評価すること。
• コンピュータビジョン技術（空間ピラミッド、ヒストグラムインターセクション、SIFT）を応用し、辞書ベースのTSC性能を向上させること。
• BOSSに空間ピラミッドとヒストグラムインターセクションを組み合わせた新規分類器SP-HIを設計・評価すること。
• 特に繰り返しパターンを有する長時間・ノイズの多い時系列データにおいて、辞書ベース分類器が最も効果を発揮する状況を実証的に示すこと。

提案手法

• アンサンブル、フーリエ変換、データ駆動型離散化、距離測度の4つのコアコンポonentを体系的に変化させることで、BOPとBOSSを分解する。
• 時間系列を階層的サブウィンドウに分割し、各レベルごとに別々のヒストグラムを生成することで、BOSSに空間ピラミッドを適用する。
• ノイズやスケール変動に対してロバストな性能を向上させるために、ヒストグラム表現間の類似度測度としてヒストグラムインターセクション（HI）距離を導入する。
• BOSSに空間ピラミッドとヒストグラムインターセクション距離を組み合わせることで、新規分類器SP-HIを構築する。
• 10-fold交差検証と統計的有意性検定を用いて、128個の時系列データセットで構成されるベンチマークスイートで、すべての変種を評価する。
• 複数のパrameter設定におけるアンサンブルを用いて汎化性能を向上させ、各ベース分類器を推論用に保存する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル、フーリエ変換、データ駆動型離散化、距離測度の各要因が、BOPとBOSSの性能差に果たす相対的寄与度は何か？
• RQ2 空間ピラミッドやヒストグラムインターセクションといったコンピュータビジョン技術が、辞書ベースのTSC性能を向上させられるか？
• RQ3 BOSSに空間ピラミッドとヒストグラムインターセクションを組み合わせたSP-HI手法は、標準BOSSや他のベンチマークと比較して顕著に高い精度を達成できるか？
• RQ4 SP-HI手法は、ノイズや複雑なパターンを有する特定の種類の時系列データにおいて、特にどのような利点を示すか？
• RQ5 多様なデータセットにおいて、SP-HIの性能はST-HESCAやHIVE-COTEといった最先端のTSC手法と比較してどうか？

主な発見

• パラメータ値のアンサンブルは、BOPおよびBOSSの両方の性能を顕著に向上させるが、両アルゴリズムに共通して有益であるのはアンサンブルのみである。
• BOSSの距離測度はBOSSの性能に不可欠であるが、BOPの精度を低下させることが判明し、アルゴリズムコンponents間の非線形的相互作用を示している。
• BOSSに空間ピラミッドとヒストグラムインターセクションを組み合わせたSP-HI手法は、標準BOSSおよびすべての標準ベンチマークを著しく上回る顕著な高い精度を達成した。
• SP-HIはST-HESCA（最良のシェイプレットベース手法）と比べて顕著に劣らず、HIVE-COTEにのみ劣る結果となった。HIVE-COTEはBOSSをコンポーネントに含む。
• 空間ピラミッドコンponentは、識別的パターンが混在ノイズに埋もれているデータセットで性能を向上させ、複雑で長い時系列における有用性を示唆している。
• SP-HIは精度を向上させるが、ピラミッドレベルごとの複数のヒストグラム表現を保存するメモリオーバーヘッドは、最適化されない限り実用的導入を制限する可能性がある。