[論文レビュー] Don't Get Me Wrong: How to Apply Deep Visual Interpretations to Time Series

Christoffer Loeffler, Wei-Cheng Lai+4 more|arXiv (Cornell University)|Mar 14, 2022

Data Visualization and Analytics被引用数 5

ひとこと要約

本論文は、時系列分類および分類のための事後可視化解釈手法を客観的に評価するための6つの直交する評価指標——整合性、忠実性、感受性、頑健性、安定性、局在化——からなるフレームワークを提案する。研究では、多様な時系列データセットおよびニューラルネットワークアーキテクチャを用いて9つの解釈手法を評価し、どの手法も一貫して優れているとは限らないことが判明し、モデルおよびタスク固有の可視化選択のための実用的かつ具体的な提言を提供する。

ABSTRACT

The correct interpretation of convolutional models is a hard problem for time series data. While saliency methods promise visual validation of predictions for image and language processing, they fall short when applied to time series. These tend to be less intuitive and represent highly diverse data, such as the tool-use time series dataset. Furthermore, saliency methods often generate varied, conflicting explanations, complicating the reliability of these methods. Consequently, a rigorous objective assessment is necessary to establish trust in them. This paper investigates saliency methods on time series data to formulate recommendations for interpreting convolutional models and implements them on the tool-use time series problem. To achieve this, we first employ nine gradient-, propagation-, or perturbation-based post-hoc saliency methods across six varied and complex real-world datasets. Next, we evaluate these methods using five independent metrics to generate recommendations. Subsequently, we implement a case study focusing on tool-use time series using convolutional classification models. Our results validate our recommendations that indicate that none of the saliency methods consistently outperforms others on all metrics, while some are sometimes ahead. Our insights and step-by-step guidelines allow experts to choose suitable saliency methods for a given model and dataset.

研究の動機と目的

• 時系列分野における可視化解釈手法の客観的評価基準の欠如に起因する、データの多様性と直感的な解釈性の低さによる人間の判断の信頼性の欠如を是正すること。
• ドメインエキスパートが異なるモデルやタスク間でサリエンシーマップを検証・比較できる標準化された客観的評価フレームワークを構築すること。
• モデルアーキテクチャ、トレーニング正則化、データセット特性が解釈品質に与える影響を調査すること。
• 複数の指標における実証的性能に基づき、適切な可視化手法の選定に関する実用的かつ具体的な提言を提供すること。

提案手法

• 著者らは6つの直交する評価指標を定義する：整合性（モデルパラメータ依存性）、忠実性（入力の摂動下での予測精度との相関）、感受性（正しく分類されたクラスと誤って分類されたクラスにおける相違する重要度）、頑健性（小さな入力変更がわずかなサリエンシーマップの変化を引き起こすこと）、安定性（同じクラスのサンプルに対して一貫した重要度）、局在化（予測されたセグメントに集中したサリエンシー）。
• このフレームワークは、4つのディープラーニングアーキテクチャ（FCN、TCN、U-Net、bi-LSTM）を用いて、勾配ベース、活性化ベース、摂動ベースの合計9つの事後解釈手法に適用される。
• 評価は12のUCR時系列データセットおよび1つの実世界産業用データセット（ツール追跡）で実施され、各サンプルごとに指標が計算され、データセットおよびモデル全体にわたって集約される。
• データセットバイアスを制御するため、各{指標, データセット}ごとにスコアを正規化し、異なる手法間での公平な比較を可能にする。
• 著者らはペアプロット相関分析を用いて指標の直交性を検証し、いかなる2つの指標間に対しても顕著な相関が認められず、各指標が独立した別個のサリエンシー品質の側面を捉えていることを確認した。
• 正則化技術（ドロップアウト、重み減衰）のアブレーションスタディを実施し、解釈品質に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 どの可視化解釈手法が、時系列分類およびセグメンテーションタスクにおいて複数の客観的指標で最も優れているか？
• RQ2 モデルアーキテクチャおよびトレーニング正則化は、異なる解釈手法が生成するサリエンシーマップの品質にどのように影響するか？
• RQ3 既存の評価指標（整合性、忠実性、頑健性など）は、解釈品質に関する独立的かつ重複のない信号をどれほど提供するか？
• RQ4 直交する指標の統合フレームワークは、時系列ディープラーニングモデルの可視化手法選定を信頼性を持って支援できるか？
• RQ5 異なる時系列データセットは、解釈手法の相対的性能にどのように影響を及けるか？

主な発見

• どの手法も6つの指標すべてにおいて一貫して優れているとは限らず、手法の性能は特定の評価基準やタスクに強く依存することが示された。
• 局在化指標の結果から、bi-LSTMがツール追跡セグメンテーションタスクにおいて、いかなる手法も満足できるサリエンシーマップを生成できていないことが判明し、現在の技術には深刻なギャップがあることが浮き彫りになった。
• 忠実性とクラス内安定性は、データセット選択に特に敏感であり、一部のデータセットは他のデータセットよりも解釈品質の向上を難しくしている。
• モデルアーキテクチャは解釈品質に比較的小さな影響を及えたことが示され、解釈手法が異なるネットワーク設計に比較的普遍的に適用可能である可能性を示唆した。
• 6つの指標は直交的である——いかなる2つの指標間に対しても顕著な相関が認められず、各指標がサリエンシー品質の別個で独立した側面を捉えていることを裏付けた。
• 各{指標, データセット}ごとのスコア正規化により、手法の相対的順位付けが安定的かつ意味を持つことが判明し、異なるデータセット間での公平な比較が可能であることが示された。