[論文レビュー] Explainable Multivariate Time Series Classification: A Deep Neural Network Which Learns To Attend To Important Variables As Well As Informative Time Intervals

Tsung-Yu Hsieh, Suhang Wang+2 more|arXiv (Cornell University)|Nov 23, 2020

Time Series Analysis and Forecasting参考文献 63被引用数 5

ひとこと要約

本稿では、二重アテンションメカニズムを用いて重要な変数と情報量の多い時間間隔を同時に学習する、説明可能な多次元時系列分類のための新しい深層ニューラルネットワーク、LAXCATを提案する。このモデルは、ベンチマークデータセットにおいて最先端の手法を上回る性能を発揮するとともに、分野知識と整合した臨床的・科学的に意味のある説明を提供する。

ABSTRACT

Time series data is prevalent in a wide variety of real-world applications and it calls for trustworthy and explainable models for people to understand and fully trust decisions made by AI solutions. We consider the problem of building explainable classifiers from multi-variate time series data. A key criterion to understand such predictive models involves elucidating and quantifying the contribution of time varying input variables to the classification. Hence, we introduce a novel, modular, convolution-based feature extraction and attention mechanism that simultaneously identifies the variables as well as time intervals which determine the classifier output. We present results of extensive experiments with several benchmark data sets that show that the proposed method outperforms the state-of-the-art baseline methods on multi-variate time series classification task. The results of our case studies demonstrate that the variables and time intervals identified by the proposed method make sense relative to available domain knowledge.

研究の動機と目的

• 分類意思決定に最も寄与する変数および時間間隔を特定することで、精度と解釈可能性の両方を向上させる多次元時系列分類器の開発。
• 医療や神経科学などハイリスク分野における多次元時系列データの複雑な時間的パターンを説明する課題に対処すること。
• 変数レベルおよび時間間隔レベルの両方のアテンションを同時に可能にするモジュラーで畳み込みベースのアーキテクチャを構築し、モデルの透明性を向上させること。
• 実世界の応用において、同定された変数および時間間隔が、既存の分野知識と一致することを検証すること。

提案手法

• LAXCATは、各時刻周辺の局所的時間的パターンを符号化する畳み込みベースの特徴抽出ネットワークを採用する。
• 二重アテンション機構を用いる：一つは重要な変数を選択する（変数アテンション）、もう一つは情報量の多い時間間隔を特定する（時間的アテンション）。
• 局所的畳み込みを用いて文脈埋め込みを計算し、アテンション重みを適用して関連する変数および時間窓を強調する。
• 重み付けされた文脈埋め込みを用いて、全結合ネットワークで最終的な分類を実行する。エンド・ツー・エンドの学習は、精度とアテンションのスパarsityを最適化するための共同損失関数を用いる。
• EEGやモーショングレースデータを含む、さまざまな多次元時系列応用に一般化可能なモジュラーかつ汎用的なアーキテクチャとして設計されている。
• アテンション機構は、最終予測への変数および時間間隔の寄与を反映する解釈可能なアテンションスコアを生成するように学習される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、多次元時系列データにおいて、分類性能の向上を図るために、最も情報量の多い変数と時間間隔を同時に同定できるか？
• RQ2 提案されたアテンション機構は、実世界の応用において、既存の分野知識と整合する説明を生成するか？
• RQ3 変数レベルのアテンションと時間間隔レベルのアテンションは、それぞれ独立して、および共同して、モデルの予測精度にどのように寄与するか？
• RQ4 カーネルサイズ、フィルタ数、隠れユニット数などのハイパーパrameterに対して、モデルの性能はどの程度感受的か？

主な発見

• LAXCATは、複数のベンチマーク多次元時系列データセットにおいて、最先端のベースラインを上回り、より高い分類精度を達成した。
• Movementデータセットでは、運動タスク開始後、LAXCATがターゲットEEGチャネルに約24%のアテンションを割り当てたのに対し、DARNNは20%、IMV-LSTMは22%であった。これは、期待される神経活動とより良好に一致していることを示している。
• アブレーションスタディの結果、両方のアテンションモジュールを削除すると、PM2.5データセットにおけるF1スコアが38.68%に低下し、両アテンション機構の重要性が確認された。
• パラメータ感受性分析の結果、カーネルサイズが16および64のときが32よりも優れた結果を示し、時間点ベースのアテンション（カーネルサイズ=1）では性能が約75%に低下した。これは、時間間隔ベースの時間的アテンションの利点を示している。
• EEGデータに対するケーススタディでは、LAXCATが、右利きの運動時に左側頭部領域など、対側脳領域を正しく同定しており、既知の神経生理学的原則と一致していた。
• モデルのアテンションパターンは時間的に整合性があり、運動タスク開始後にピークアテンションが発生し、期待される神経動態と一致していた。