[論文レビュー] Benchmarking Deep Learning Interpretability in Time Series Predictions

Aya Abdelsalam Ismail, Mohamed K. Gunady+2 more|arXiv (Cornell University)|Oct 26, 2020

Explainable Artificial Intelligence (XAI)参考文献 40被引用数 87

ひとこと要約

本論文は、 saliency に基づく解釈可能性手法を multivariate time series に対して RNN、TCN、Transformers の各アーキテクチャ横断でベンチマークし、 time-feature の conflation に起因する体系的な欠陥を特定し、説明を改善する Temporal Saliency Rescaling (TSR) を提案します。

ABSTRACT

Saliency methods are used extensively to highlight the importance of input features in model predictions. These methods are mostly used in vision and language tasks, and their applications to time series data is relatively unexplored. In this paper, we set out to extensively compare the performance of various saliency-based interpretability methods across diverse neural architectures, including Recurrent Neural Network, Temporal Convolutional Networks, and Transformers in a new benchmark of synthetic time series data. We propose and report multiple metrics to empirically evaluate the performance of saliency methods for detecting feature importance over time using both precision (i.e., whether identified features contain meaningful signals) and recall (i.e., the number of features with signal identified as important). Through several experiments, we show that (i) in general, network architectures and saliency methods fail to reliably and accurately identify feature importance over time in time series data, (ii) this failure is mainly due to the conflation of time and feature domains, and (iii) the quality of saliency maps can be improved substantially by using our proposed two-step temporal saliency rescaling (TSR) approach that first calculates the importance of each time step before calculating the importance of each feature at a time step.

研究の動機と目的

• 多変量時系列における情報量の高い特徴を識別する際、一般的なサリエンシー手法の性能を評価する。
• ニューラルアーキテクチャ（RNN、TCN、Transformers）がサリエンシーマップの品質に与える影響を評価する。
• 説明の定量化のため、既知の情報量のある特徴を用いた合成ベンチマークを開発する。
• 時間と特徴の関連性を分離する実用的な手法（TSR）を提案し、サリエンシーマップを時系列データ向けに改善する。

提案手法

• LSTM、入力-セルアテンション付きLSTM、TCN、Transformer アーキテクチャを横断して、勾配ベースおよび摂動ベースのサリエンシー手法を比較する。
• 時間と特徴の情報量が分布する既知の情報量特徴を持つ合成 multivariate time series データセットを設計する。
• サリエンシーで特定された特徴を段階的にマスクして精度の低下を測定することで、精度/再現率メトリクスを用いて評価する。
• Temporal Saliency Rescaling (TSR): まず各時点をマスキングして時間的関連性を計算し、次に時間閾値を超える時点内の特徴関連性を計算、最終スコアは時間関連性と特徴関連性の積とする。
• TSR のアルゴリズム的説明（Algorithm 1）を提示し、サリエンシー品質への影響を報告する。
• サリエンシーマップを時系列データと画像扱い、または一変量/時刻補完系列として扱った場合とを比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的なサリエンシー手法は、一般的なニューラルアーキテクチャ間で、 multivariate time series における時間変化する特徴量の重要度を信頼性高く特定できるか。
• RQ2 アーキテクチャの選択（RNN、TCN、Transformer）が時系列におけるサリエンシーマップの品質に与える影響はどうか。
• RQ3 モデル予測を変更せずに後処理的な時間的デカップリングは説明の忠実度を改善できるか。
• RQ4 TSR を適用する際の解釈性の品質と計算コストのトレードオフはどうなるか。
• RQ5 時系列データを画像として扱う場合と、 intrinsic な時系列表現として扱う場合でサリエンシー評価は異なるか。

主な発見

• ほとんどのサリエンシー手法は、モデルの高い正確さにもかかわらず、 multivariate time series に対する高品質な解釈を生み出せない。
• サリエンシーマップはしばしば有益な時点を強調するが、その時点内のどの特徴が実際に有益かを区別するのが難しい。
• モデルアーキテクチャはサリエンシーの品質に大きく影響し、手法の選択よりも差が生じる場合がある。
• 二段階の Temporal Saliency Rescaling (TSR) アプローチは、方法とアーキテクチャを問わずサリエンシー品質を著しく改善するが、計算コストは高くなる。
• TSR は Gradient サリエンシーを用いた場合のベンチマーク指標で最も優れた性能を示し、データセット間で頑健性を示す。