[論文レビュー] Interpretable Time Series Classification using All-Subsequence Learning and Symbolic Representations in Time and Frequency Domains.

Thach Le Nguyen, Severin Gsponer+2 more|arXiv (Cornell University)|Aug 12, 2018

Time Series Analysis and Forecasting参考文献 21被引用数 6

ひとこと要約

本稿では、時間（SAX）および周波数（SFA）ドメインにおける記号的表現を組み合わせ、SEQLのグリーディ特徴選択を用いることで、マルチリゾリューションかつマルチドメインの時系列分類器であるSAX-SFA-SEQLを提案する。COTE や FCN と同等の最先端の精度を達成するが、記号的パターン抽出による解釈可能性の向上と、顕著に短縮された推論時間の両方を実現する。

ABSTRACT

The time series classification literature has expanded rapidly over the last decade, with many new classification approaches published each year. The research focus has mostly been on improving the accuracy and efficiency of classifiers, while their interpretability has been somewhat neglected. Classifier interpretability has become a critical constraint for many application domains and the introduction of the 'right to explanation' GDPR EU legislation in May 2018 is likely to further emphasize the importance of explainable learning algorithms. In this work we analyse the state-of-the-art for time series classification, and propose new algorithms that aim to maintain the classifier accuracy and efficiency, but keep interpretability as a key design constraint. We present new time series classification algorithms that advance the state-of-the-art by implementing the following three key ideas: (1) Multiple resolutions of symbolic approximations: we combine symbolic representations obtained using different parameters; (2) Multiple domain representations: we combine symbolic approximations in time (e.g., SAX) and frequency (e.g., SFA) domains; (3) Efficient navigation of a huge symbolic-words space: we adapt a symbolic sequence classifier named SEQL, to make it work with multiple domain representations (e.g., SAX-SEQL, SFA-SEQL), and use its greedy feature selection strategy to effectively filter the best features for each representation. We show that a multi-resolution multi-domain linear classifier, SAX-SFA-SEQL, achieves a similar accuracy to the state-of-the-art COTE ensemble, and to a recent deep learning method (FCN), but uses a fraction of the time required by either COTE or FCN. We discuss the accuracy, efficiency and interpretability of our proposed algorithms. To further analyse the interpretability aspect of our classifiers, we present a case study on an ecology benchmark.

研究の動機と目的

• GDPRの「説明の権利」などの規制要件や、応用分野における需要増加に伴い、解釈可能な時系列分類器の需要が高まっていることを踏まえ、そのニーズに対応する。
• 精度や効率を損なわず、時系列分類における解釈可能性を向上させることを目的とする。
• 複数の表現から生じる巨大な記号的語彙空間を効果的に扱える手法を開発すること。
• 時間ドメインおよび周波数ドメインの両方における記号的近似を複数のリゾリューションで統合し、モデルのロバスト性と解釈可能性を向上させること。

提案手法

• 時間ドメインにおける記号的表現として、さまざまな解像度パラメータを用いた記号的アッセムブリーアプロキメーション（SAX）を適用する。
• 周波数ドメインにおける記号的表現として、異なるウィンドウサイズおよびフーリエ係数を用いた記号的フーリエ近似（SFA）を用いる。
• 時間ドメインおよび周波数ドメインからの記号的表現を統合された特徴空間に統合する。
• SEQL分類器を拡張し、マルチドメインの記号的シーケンスを処理できるようにし、最も判別性の高い記号的語を同定するグリーディ特徴選択を拡張する。
• 解釈可能性と計算効率を確保するため、選択された記号的特徴に基づいて線形分類器を用いる。
• SAXおよびSFAの異なるパrameter設定でモデルを訓練・統合することで、マルチリゾリューション戦略を採用し、汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 時間および周波数ドメインにおける記号的表現を統合することで、分類精度を向上させつつ解釈可能性を維持できるか？
• RQ2 マルチリゾリューションの記号的近似は、時系列分類器の性能および解釈可能性にどのように影響を与えるか？
• RQ3 SEQLにおけるグリーディ特徴選択は、予測力の損失を伴わず、記号的語彙空間をどの程度効果的に縮小できるか？
• RQ4 COTE や FCN といった最先端モデルと比較して、提案手法は精度、効率、解釈可能性の観点でどの程度優れているか？

主な発見

• SAX-SFA-SEQLは、最先端のCOTEアンサンブルおよび深層学習モデルFCNと同等の分類精度を達成する。
• 提案手法は、COTE や FCN よりも顕著に短い推論時間を要するため、リアルタイム応用においてより効率的である。
• 記号的表現の使用により、意思決定が時間ドメインおよび周波数ドメインにおける特定の記号的パターンに遡れるため、モデルの解釈可能性が向上する。
• 生態学ベンチマークにおける事例研究では、モデルの予測が識別可能な記号的モチーフによって説明可能であることが示され、意思決定の透明性が裏付けられた。
• SEQLにおけるグリーディ特徴選択は、精度を保持しつつも、最も関連性の高い記号的語を効果的にフィルタリングし、次元削減を実現した。
• 複数のリゾリューションおよびドメインを統合することで、多様な時系列データセットにおいて、より高いロバスト性と汎化性能が得られた。