[論文レビュー] Learning Interpretable Shapelets for Time Series Classification through Adversarial Regularization

Yichang Wang, Rémi Emonet+5 more|arXiv (Cornell University)|Jun 3, 2019

Time Series Analysis and Forecasting参考文献 23被引用数 8

ひとこと要約

本稿では、訓練データからの実際の部分列に類似した形状素子を学習できるように制約を課すことにより、解釈可能な形状素子を時間系列分類に用いるために敵対的正則化を施した畳み込みニューラルネットワーク（AI↔PR-CNN）を提案する。この手法は、分類精度を損なわずに、意味的に意味のある形状素子を学習でき、モデルの予測を直接説明可能にする。

ABSTRACT

Times series classification can be successfully tackled by jointly learning a shapelet-based representation of the series in the dataset and classifying the series according to this representation. However, although the learned shapelets are discriminative, they are not always similar to pieces of a real series in the dataset. This makes it difficult to interpret the decision, i.e. difficult to analyze if there are particular behaviors in a series that triggered the decision. In this paper, we make use of a simple convolutional network to tackle the time series classification task and we introduce an adversarial regularization to constrain the model to learn more interpretable shapelets. Our classification results on all the usual time series benchmarks are comparable with the results obtained by similar state-of-the-art algorithms but our adversarially regularized method learns shapelets that are, by design, interpretable.

研究の動機と目的

• 深層学習ベースの時間系列分類において、学習された形状素子が実際のデータパターンに類似しないという解釈可能性の欠如に対処する。
• 訓練データ内の実際の部分列に類似する形状素子を強制することで、分類性能を損なわずにモデルの解釈可能性を向上させる。
• 識別性が高く意味的に解釈可能な形状素子を学習できる、画期的な敵対的正則化メカニズムを開発する。
• 提案手法が、既存の形状素子ベース手法と比較して、顕著に解釈性を向上させつつも、競争力ある分類精度を維持することを示す。

提案手法

• 時間系列から特徴を抽出するため、シンプルな1次元畳み込みニューラルネットワーク（CNN）を分類器ヘッドとして使用する。
• 実際の時間系列部分列と分類器が学習した形状素子を区別するためのディスクライマー・ネットワークを導入する。
• 敵対的正則化を適用し、分類器がディスクライマーをだませるように学習させることで、形状素子が実際のデータ断片に類似するよう促進する。
• 分類損失を最小化すると同時に、生成された形状素子を検出できるようにディスクライマーの能力を最大化する統合的最適化を実行し、より現実的な形状素子を得る。
• 分類精度と敵対的整合性をバランスさせる組み合わせ損失関数を用いて、バックプロパゲーションによりエンドツーエンドでモデルを訓練する。
• ジェネレータ（分類器）が形状素子を学習し、ディスクライマーがそれらの現実性を実際の時間系列セグメントと比較して評価する二重ストリームアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 敵対的正則化を用いることで、識別性と解釈可能性の両方を満たす形状素子を深層学習モデルが効果的に学習できるか。
• RQ2 提案手法は、最先端の形状素子ベースのモデルと比較して、分類精度をどの程度維持できるか。
• RQ3 学習された形状素子は、訓練データ内の実際の部分列と視覚的・構造的にどの程度類似しているか。
• RQ4 敵対的正則化機構により、意味的に意味のある、人間が解釈しやすい形状素子が得られるか。
• RQ5 大規模な時間系列データセットに対しても、解釈可能性と性能を維持したまま効率的にスケーリング可能か。

主な発見

• 提案されたAI↔PR-CNN手法は、UCR/UEAベンチマークスイートにおいて、Learning Shapelets（LS）やFast Shapelets（FS）といった最先端手法と同等の分類精度を達成した。
• ElectricDevicesデータセットでは142分で学習が完了し、元の実装のLS（2323分）を上回り、再実装版LS（71分）と同等の性能を示した。これは、適切な最適化を施した場合の高い学習効率を示している。
• 本手法で学習された形状素子は、訓練データからの実際の部分列と視覚的に類似しており、モデルの意思決定を直接解釈可能にしている。
• 敵対的正則化により、識別性に加え、意味的に意味のある、人間が理解可能な形状素子を学習するようモデルが促進された。
• 理論的計算複雑度はLSと同一（$O(n \times T^2 \times c)$）であるが、学習効率と解釈可能性が著しく向上している。
• 結果として、モデルの精度と解釈可能性の間で良好なトレードオフが達成されており、形状素子が時間系列内の特定の行動と直接関連付けられ、説明に役立つことが示された。