[論文レビュー] A Temporal Linear Network for Time Series Forecasting

Rémi Genet, Hugo Inzirillo|arXiv (Cornell University)|Oct 28, 2024

Time Series Analysis and Forecasting被引用数 1

ひとこと要約

本稿では、拡張畳み込みと特化したカーネル初期化を用いて時系列構造を保持する、多変量時系列予測のための新しい線形アーキテクチャ、Temporal Linear Network (TLN) を提案する。このアーキテクチャは、標準の線形モデルを上回り、複雑なアーキテクチャと同等の性能を発揮するが、線形同等形を介して完全な解釈可能性を維持する。

ABSTRACT

Recent research has challenged the necessity of complex deep learning architectures for time series forecasting, demonstrating that simple linear models can often outperform sophisticated approaches. Building upon this insight, we introduce a novel architecture the Temporal Linear Net (TLN), that extends the capabilities of linear models while maintaining interpretability and computational efficiency. TLN is designed to effectively capture both temporal and feature-wise dependencies in multivariate time series data. Our approach is a variant of TSMixer that maintains strict linearity throughout its architecture. TSMixer removes activation functions, introduces specialized kernel initializations, and incorporates dilated convolutions to handle various time scales, while preserving the linear nature of the model. Unlike transformer-based models that may lose temporal information due to their permutation-invariant nature, TLN explicitly preserves and leverages the temporal structure of the input data. A key innovation of TLN is its ability to compute an equivalent linear model, offering a level of interpretability not found in more complex architectures such as TSMixer. This feature allows for seamless conversion between the full TLN model and its linear equivalent, facilitating both training flexibility and inference optimization.

研究の動機と目的

• 線形モデルのシンプルさとディープラーニングの構造的利点を組み合わせることで、多変量時系列予測における解釈可能性と性能のギャップを埋める。
• 自己注意機構により時系列情報を失う置換不変型モデル（例：Transformers）の制限を克服する。
• 完全な線形性を維持することで、解釈可能性を確保し、線形同等形への容易な変換を可能にするモデルを開発する。
• TLNが標準線形回帰やTSMixerを上回る性能を示し、計算効率を維持することを実証する。
• 実用的でオープンソースの実装を提供し、多様な時系列予測応用分野への導入を促進する。

提案手法

• 活性化関数を削除することで線形性を保つTSMixerの変種として、Temporal Linear Network (TLN) を設計する。
• 深さを増さずに多スケールの時系列依存関係をモデル化するため、拡張畳み込みを組み込む。
• 訓練の安定化と線形アーキテクチャにおける表現学習の向上を図るため、特化したカーネル初期化戦略を適用する。
• 畳み込み演算が順序構造を尊重する仕組みを採用することで、入力における時系列順序を明示的に保持する。
• 完全なTLNアーキテクチャから線形同等モデルを構築し、解釈可能性と解析的推論を可能にする。
• 標準的な最適化手法を用いてエンドツーエンドでモデルを学習し、初期化段階で形成される重み関係を活用して一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 厳密に線形なニューラルネットワークアーキテクチャは、多変量時系列における複雑な時系列的および特徴的依存関係を効果的に捉えることができるか？
• RQ2 TLNアーキテクチャは、解釈可能性を維持しながら、標準線形回帰やTSMixerを上回る性能を示すか？
• RQ3 拡張畳み込みと特化した初期化の使用が、時系列予測における線形モデルの性能をどの程度向上させるか？
• RQ4 より複雑なアーキテクチャと比較して、TLNモデルはさまざまな系列長や予測先行期間においても頑健性を保っているか？
• RQ5 TLNの線形同等形は、予測性能を損なわせることなく意味のある解釈可能性を提供できるか？

主な発見

• TLNは、評価されたすべての多変量時系列予測タスクで標準線形回帰を上回り、一般化性能と予測精度の向上を示した。
• 線形同等形による完全な解釈可能性を維持しながら、Transformers や TSMixer と同等の性能を達成した。
• TLNは、さまざまな入力設定（系列長や予測先行期間の変動を含む）において顕著な安定性を示した。
• 拡張畳み込みの使用により、非線形性を導入することなく、長距離の時系列依存関係を効果的にモデル化できた。
• TLNの特化したカーネル初期化とアーキテクチャ設計により、標準線形回帰を上回るモデル表現力が内在的重み関係によって実現された。
• PyPIに公開されたオープンソース実装により、再現性が確保され、多様な時系列予測パイプラインへの統合が容易になった。