[論文レビュー] Temporal Dependencies in Feature Importance for Time Series Predictions

Kin Kwan Leung, Clayton Rooke+3 more|arXiv (Cornell University)|Jul 29, 2021

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

この論文では、将来の予測のウィンドウ全体にわたる特徴量重要度の集約によって時系列依存性を考慮する、特徴量除去に基づく多変量時系列の解釈可能性手法WinITを提案する。WinITは、合成データおよび実世界のデータセットにおいて既存手法を上回り、評価戦略にかかわらず一貫性と頑健性が向上しており、とくに遅延した特徴量の影響を捉える点で優れている。

ABSTRACT

Time series data introduces two key challenges for explainability methods: firstly, observations of the same feature over subsequent time steps are not independent, and secondly, the same feature can have varying importance to model predictions over time. In this paper, we propose Windowed Feature Importance in Time (WinIT), a feature removal based explainability approach to address these issues. Unlike existing feature removal explanation methods, WinIT explicitly accounts for the temporal dependence between different observations of the same feature in the construction of its importance score. Furthermore, WinIT captures the varying importance of a feature over time, by summarizing its importance over a window of past time steps. We conduct an extensive empirical study on synthetic and real-world data, compare against a wide range of leading explainability methods, and explore the impact of various evaluation strategies. Our results show that WinIT achieves significant gains over existing methods, with more consistent performance across different evaluation metrics. The code for our work is publicly available at \url{https://github.com/layer6ai-labs/WinIT}.

研究の動機と目的

• 時系列の特徴量重要度における時系列依存性の課題に対処すること。すなわち、異なる時刻における特徴量は相互に依存しており、その重要度は時間とともに変化する。
• 特徴量の影響を将来の予測ウィンドウにわたって集約することにより、動的で時間的に変化する特徴量重要度を捉える特徴量除去ベースの手法を開発すること。
• 特徴量除去における時系列相関を考慮する補完的なマスキング戦略の調査と提案を通じて、時系列の解釈可能性評価の頑健性を高めること。
• 制御された遅延依存性を有する合成データと実世界の時系列データの両方でWinITを評価し、最先端手法を上回る優れた性能を示すこと。
• 公開可能なコードと標準化された評価プロトコルを備えた再現可能な時系列解釈可能性フレームワークを提供すること。

提案手法

• WinITは、特徴量を除去した際のモデル予測の変化として特徴量重要度を計算するが、時系列依存性を考慮するため、将来の時刻のウィンドウにわたる影響を評価する。
• 時刻tにおける特徴量観測の重要度は、[t, t+N]のウィンドウ内で予測への影響を集約した形で定義され、複数ステップにわたる予測変化を測定するスコアi(S)ₐᵇが使用される。
• 時間軸にわたる重要度の要約を可能にするウィンドウ化集約戦略を採用することで、遅延効果（特徴量の変更がラグを経て予測に影響を与える現象）の検出が可能になる。
• 標準的、バランス型、予測差分マスキングなどの複数のマスキング戦略を用いて性能を評価し、評価におけるバイアスを回避し、頑健性を検証する。
• モデルに依存しない手法であり、任意の時系列モデルに適用可能。入力-出力挙動のみに依存して特徴量重要度を計算する。
• 重要度集約の時間的範囲を制御するハイパーパrameter N（ウィンドウサイズ）を導入。実証的分析により、さまざまな値の範囲で安定した性能を示すことが判明。

実験結果

リサーチクエスチョン

• RQ1 同じ特徴量の観測同士の時系列依存性を考慮するには、時系列の特徴量重要度をどのようにモデル化できるか？
• RQ2 特徴量の影響が時間的ラグを経て現れる遅延的影響を、特徴量除去ベースの手法がどの程度捉えることができるか？
• RQ3 異なるマスキング戦略は時系列解釈可能性手法の評価にどのように影響を与えるか？特に公平な比較に適した戦略は何か？
• RQ4 WinITは、多様な評価指標および実世界の時系列データセットにおいて、一貫して既存のサリエンシー手法を上回る性能を示すか？
• RQ5 ウィンドウサイズのハイパーパrameterは、遅延効果への感受性と計算コストの両立を考慮して、効果的に調整可能か？

主な発見

• STDマスキング下で、MIMIC-III死亡予測タスクにおいて上位5%の重要度観測を用いた場合、WinITはAUCが7.8%低下するが、すべてのベースラインを上回る。
• 遅延スパイクを有する合成データセットでは、N=3のウィンドウサイズでWinITの性能が顕著に向上し、正確に2ステップの遅延を捉えている。
• 合成データおよび実世界の実験において、N=3を超えるウィンドウサイズで性能が安定化しており、ハイパーパrameter選択に対する頑健性が示されている。
• WinIT-PD（予測差分）はWinIT-KLおよびWinIT-JSを上回り、K=50におけるAUC低下が7.6%にとどまり、重要度集約関数の選択の重要性を示している。
• 異なるマスキング戦略においても一貫した性能を示し、結果の分散が最小限に抑えられており、評価プロトコルの変化に対して頑健であることが示された。
• ウィンドウサイズNは実行時間と線形関係にあり、広範な値の範囲で効率的なハイパーパrameterサーチが可能である。