[論文レビュー] Horizon Activation Mapping for Neural Networks in Time Series Forecasting

Hans Krupakar, V A Kandappan|arXiv (Cornell University)|Jan 5, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

HAMは、層の種類に依らず、時系列予測のためのさまざまなニューラルネットワークモデルを解釈・比較するための勾配ベースの horizon-aware 可視化を提供します。 horizon サブシリーズ全体の因果的および反因果的勾配更新を分析し、モデル選択と訓練決定を導きます。

ABSTRACT

Neural networks for time series forecasting have relied on error metrics and architecture-specific interpretability approaches for model selection that don't apply across models of different families. To interpret forecasting models agnostic to the types of layers across state-of-the-art model families, we introduce Horizon Activation Mapping (HAM), a visual interpretability technique inspired by grad-CAM that uses gradient norm averages to study the horizon's subseries where grad-CAM studies attention maps over image data. We introduce causal and anti-causal modes to calculate gradient update norm averages across subseries at every timestep and lines of proportionality signifying uniform distributions of the norm averages. Optimization landscape studies with respect to changes in batch sizes, early stopping, train-val-test splits, architectural choices, univariate forecasting and dropouts are studied with respect to performances and subseries in HAM. Interestingly, batch size based differences in activities seem to indicate potential for existence of an exponential approximation across them per epoch relative to each other. Multivariate forecasting models including MLP-based CycleNet, N-Linear, N-HITS, self attention-based FEDformer, Pyraformer, SSM-based SpaceTime and diffusion-based Multi-Resolution DDPM over different horizon sizes trained over the ETTm2 dataset are used for HAM plots in this study. NHITS' neural approximation theorem and SpaceTime's exponential autoregressive activities have been attributed to trends in HAM plots over their training, validation and test sets. In general, HAM can be used for granular model selection, validation set choices and comparisons across different neural network model families.

研究の動機と目的

• architecture の違いを超える時系列予測のためのモデル非依存の解釈可能性ツールを動機づける。
• Horizon Activation Mapping (HAM) を導入し、 horizon サブシリーズにおける勾配活動を可視化する。
• アーキテクチャの選択、訓練手法、データセット分割が HAM プロファイルとモデル性能に与える影響を研究する。
• horizon に焦点を当てた勾配分析を通じて粒度の高いモデル選択と検証セットの決定を可能にする。

提案手法

• 因果的および反因果的 horizon サブシリーズマスクを定義して勾配ベースの損失を逆伝播させる。
• サブシリーズ間で勾配ノルムの平均を計算し、grad-CAM に触発された注意機構のような HAM プロットを可視化する。
• 比例直線に対する曲線下面積や勾配等変点といった指標を導入し、変化を定量化する。
• バッチサイズ、ドロップアウト、エポック数、早期停止、データセット分割を変更して最適化風景を研究する。
• HAMを複数のモデルファミリ（NHITS、CycleNet、N-Linear、FEDformer、Pyraformer、SpaceTime、DDPM）に適用し、ETTm2上の horizon（96、192、336、720）で検討する。

(a)

実験結果

リサーチクエスチョン

• RQ1 ハorizonベースの HAM プロットは、時系列予測のための異なるモデルファミリ間でどのような勾配活性化パターンを明らかにするか？
• RQ2 訓練選択（バッチサイズ、ドロップアウト、早期停止、データセット分割）は HAM 曲線とモデル性能にどのように影響するか？
• RQ3 HAMは長期予測を改善するためのアーキテクチャと訓練決定を導くことができるか？
• RQ4 単変量設定と多変量設定はモデルファミリ間での HAM の解釈にどう影響するか？
• RQ5 horizon の大きさとモデルタイプは因果/反因果活性化ダイナミクスを区別する相互作用を生み出すか？

主な発見

• HAM プロットは、モデル間で horizon サブシリーズ全体における因果的および反因果的勾配活性化の差を示す。
• ドロップアウトは一般に勾配の大きさを増加させる傾向があり、特に多変量予測モデルで顕著である。
• バッチサイズの変更は収束したモデルで多項式に似た飽和傾向を生み出し、因果/反因果の大きさに影響を与える。
• 早期停止は勾配の大きさを減らし、勾配等変点を中間的な horizon 領域へ移動させる。
• データセット分割は HAM に影響を与え、訓練セットと検証セットで異なる活性化パターンを示し、分布外 signal の可能性も示唆する。
• アーキテクチャの変更（正規化、サイクルキュー長） は HAM を調整し、性能変化と関連する可能性がある。

(b)