[論文レビュー] Series Saliency: Temporal Interpretation for Multivariate Time Series Forecasting

Qingyi Pan, Wenbo Hu+1 more|arXiv (Cornell University)|Dec 16, 2020

Time Series Analysis and Forecasting参考文献 40被引用数 6

ひとこと要約

本稿では、スライディングウィンドウによる「シリーズ画像」上でのセマンティクスマップを用いて、特徴量と時系列の重要度を同時にモデル化することで、解釈可能な多次元時系列予測のための新規フレームワーク「Series Saliency」を提案する。マスキングを用いた最小破壊領域の原則を適用することで、局所的で人間が理解可能なヒートマップを生成するとともに、実世界のデータセットにおいても予測のロバスト性と正確性が向上する。

ABSTRACT

Time series forecasting is an important yet challenging task. Though deep learning methods have recently been developed to give superior forecasting results, it is crucial to improve the interpretability of time series models. Previous interpretation methods, including the methods for general neural networks and attention-based methods, mainly consider the interpretation in the feature dimension while ignoring the crucial temporal dimension. In this paper, we present the series saliency framework for temporal interpretation for multivariate time series forecasting, which considers the forecasting interpretation in both feature and temporal dimensions. By extracting the "series images" from the sliding windows of the time series, we apply the saliency map segmentation following the smallest destroying region principle. The series saliency framework can be employed to any well-defined deep learning models and works as a data augmentation to get more accurate forecasts. Experimental results on several real datasets demonstrate that our framework generates temporal interpretations for the time series forecasting task while produces accurate time series forecast.

研究の動機と目的

• 深層学習モデルにおける多次元時系列予測の際の時系列解釈性の欠如に取り組み、従来の手法が特徴量の重要度やアテンション重みにのみ焦点を当てるのを補完する。
• ブラックボックスモデルの限界を克服し、特徴量および時系列の両次元において、解釈可能で局所的な説明を提供する。
• 任意の深層学習アーキテクチャに対して互換性を持つ汎用的なフレームワークを構築する。
• セマンティクスベースのマスキングとノイズ注入を用いたデータ拡張により、予測性能を向上させる。
• ヒートマップベースのセマンティクスマップを用いて、予測に最も影響を与える時間ステップと特徴量を明確に可視化する。

提案手法

• 時間軸に沿ってスライディングウィンドウを適用し、多次元時系列を「シリーズ画像」として表現する。これにより、$ w \times D $ のテンソルが形成され、ここで $ w $ はウィンドウサイズ、$ D $ は特徴次元である。
• 予測の劣化を測定しながら反復的にマスキングを行うことで、シリーズ画像内で最も影響力のある領域を最小破壊領域（SDR）の原則に従って同定する。
• 入力領域をガウスノイズやぼかし処理で摂動させ、モデル出力の変化に基づいてセマンティクススコアを計算するマスキング技術を適用する。
• マスクに滑らかさペナルティを組み込み、空間的局所性を保持するとともに、特徴量の交換可能性が一貫して処理されるようにする。
• セマンティクスフレームワークを微分可能データ拡張技術として統合し、モデルのロバスト性と予測精度を向上させる。
• 最終的なセマンティクスマップをヒートマップとして可視化し、各予測時間ステップにおける時系列的および特徴量的重要度を示す。

実験結果

リサーチクエスチョン

• RQ1 単一のポイントを超えた解釈を可能にするために、多次元時系列予測において特徴量と時系列の重要度を同時に解釈する方法は何か？
• RQ2 最小破壊領域の原則に基づくセマンティクスマップは、時系列内の最も影響力のある時間ステップと特徴量を効果的に同定できるか？
• RQ3 提案されたセマンティクスフレームワークは、解釈性を維持しつつ、どの程度予測性能を向上させるか？
• RQ4 このフレームワークは、多次元時系列における特徴量の交換可能性と空間相関をどのように処理するか？
• RQ5 セマンティクスベースのマスキング技術は、時系列予測モデルのための効果的なデータ拡張戦略として機能できるか？

主な発見

• Series Saliency フレームワークは、各予測出力に対して最も影響力のある時間ステップと特徴量を強調する局所的で解釈可能なヒートマップを効果的に生成した。
• ノイズ注入付きマスキングを用いたデータ拡張として機能することで、複数の実世界データセットにおいて予測性能が向上した。
• 最小破壊領域の原則に基づくセマンティクスマップは、標準的な勾配ベース手法に比べ、より意味的で安定した解釈を生み出した。
• このフレームワークは、RNN、LSTM、Transformer などの任意の時系列予測用深層学習アーキテクチャと互換性があり、モデル間での汎用性を示した。
• 可視化分析により、セマンティクスマップがドメイン知識と整合することが確認された（例：予測を駆動する主要な発電所や交通パターンを特定）。
• 予測精度において、最先端のベースラインを上回るか、同等の性能を発揮するとともに、時系列的および特徴量的両次元において優れた解釈性を提供した。