[論文レビュー] timeXplain -- A Framework for Explaining the Predictions of Time Series Classifiers

Felix Mujkanovic, Vanja Doskoč+3 more|arXiv (Cornell University)|Jul 15, 2020

Time Series Analysis and Forecasting参考文献 23被引用数 9

ひとこと要約

timeXplain は、時系列分類器のためのモデルに依存しない後向き解釈フレームワークであり、時間領域、周波数領域、統計領域におけるドメイン固有のマッピングを用いた SHAP ベースの摂動を採用する。ベースライン手法よりも高い解釈の整合性を達成し、CAM や SAX-VSM といったモデル特化型手法と同等の性能を示す。特にサンプル置換とバックグラウンド集合のクラス分割を併用することで顕著な向上を示す。

ABSTRACT

Modern time series classifiers display impressive predictive capabilities, yet their decision-making processes mostly remain black boxes to the user. At the same time, model-agnostic explainers, such as the recently proposed SHAP, promise to make the predictions of machine learning models interpretable, provided there are well-designed domain mappings. We bring both worlds together in our timeXplain framework, extending the reach of explainable artificial intelligence to time series classification and value prediction. We present novel domain mappings for the time domain, frequency domain, and time series statistics and analyze their explicative power as well as their limits. We employ a novel evaluation metric to experimentally compare timeXplain to several model-specific explanation approaches for state-of-the-art time series classifiers.

研究の動機と目的

• 時系列分類器のための解釈可能でモデルに依存しない解釈手法の不足に対処すること。
• 時間領域、周波数領域、時系列統計のドメインに特化したマッピングを設計することで、SHAP ベースの解釈を時系列に拡張すること。
• これらのマッピングが忠実な局所的解釈を生成する際の説明力と限界を評価すること。
• 複数の最先端の分類器を対象に、timeXplain の解釈の整合性をモデル特化型手法と比較すること。
• 時系列予測の局所的解釈のための再利用可能でオープンソースのフレームワークを提供すること。

提案手法

• フレームワークは、モデルに依存しない局所的解釈のための SHAP の Kernel SHAP を用い、標本入力の周囲で分類器を照会する。
• 3つのドメインマッピングを導入：時間スライスベース（時間領域）、周波数帯域ベース（フーリエ変換）、統計特徴ベース（要約統計）。
• 合成的置換を用いた摂動：グローバル平均、グローバルノイズ、ローカル平均、ローカルノイズ、またはバックグラウンド集合からのサンプル置換。
• クラス固有の分布的特性を保持することで解釈の整合性を向上させるために、バックグラウンド集合のクラス分割を適用する。
• モデルの実際の予測行動と解釈がどの程度一致するかを測る新しい評価指標、DTW インターバル整合性を導入する。
• 結果の安定化を図るため、10回の実行（n=10）を実施し、1回の実行あたり1000回の摂動を実行して解釈を生成する。

実験結果

リサーチクエスチョン

• RQ1 時間領域、周波数領域、統計領域の各ドメインマッピングが、時系列分類器の解釈の忠実性と解釈可能性にどのように影響を与えるか？
• RQ2 timeXplain の解釈手法は、CAM や SAX-VSM といったモデル特化型手法と比較して相対的にどの程度の性能を示すか？
• RQ3 バックグラウンド集合のクラス分割は、timeXplain の解釈の整合性にどのように影響を与えるか？
• RQ4 サンプル置換やグローバルノイズなどの摂動戦略の中で、どの戦略が最も忠実で解釈可能な解釈を生み出すか？
• RQ5 timeXplain の各ドメインマッピングに隠れた仮定と限界は何か？

主な発見

• サンプル置換とバックグラウンド集合のクラス分割を併用した timeXplain は、ほとんどの分類器において平均的な DTW インターバル整合性が最も高く、グローバル平均やノイズ置換を上回る。
• ResNet では、唯一サンプル置換がモデル特化型の CAM 解釈手法と同等の整合性を達成する。
• バックグラウンド集合のクラス分割は、すべての分類器および摂動タイプにおいて一貫して解釈の整合性を向上させる。
• グローバルノイズ置換は、小さなインターバル長に対しては性能が低く、一方でサンプル置換はさまざまなインターバル長にわたり高い整合性を維持する。
• ローカル平均およびローカルノイズの摂動は、構造的情報をあまりに多く保持するため、摂動の多様性が不十分となり、結果として整合性が低くなる。
• 特に複雑なモデル（ResNet や InceptionTime）において、timeXplain でサンプル置換を用いることで、CAM や SAX-VSM といったモデル特化型手法を上回る整合性を達成することが多い。