[論文レビュー] Cross-LKTCN: Modern Convolution Utilizing Cross-Variable Dependency for Multivariate Time Series Forecasting Dependency for Multivariate Time Series Forecasting

Donghao Luo, Xue Wang|arXiv (Cornell University)|Jun 4, 2023

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

Cross-LKTCN は、クロスタイムおよびクロス変数の依存関係を明示的にモデル化することで、多変量時系列予測を向上させる現代的で純粋な畳み込みアーキテクチャです。長距離時系列モデリングに深さ方向の大口径畳み込みを用い、続くポイントワイドグループ畳み込みフィードフォワードネットワークで複雑な変数間相互作用を捉え、線形計算複雑性を維持しながら最先端の性能を達成しています。

ABSTRACT

The past few years have witnessed the rapid development in multivariate time series forecasting. The key to accurate forecasting results is capturing the long-term dependency between each time step (cross-time dependency) and modeling the complex dependency between each variable (cross-variable dependency) in multivariate time series. However, recent methods mainly focus on the cross-time dependency but seldom consider the cross-variable dependency. To fill this gap, we find that convolution, a traditional technique but recently losing steam in time series forecasting, meets the needs of respectively capturing the cross-time and cross-variable dependency. Based on this finding, we propose a modern pure convolution structure, namely Cross-LKTCN, to better utilize both cross-time and cross-variable dependency for time series forecasting. Specifically in each Cross-LKTCN block, a depth-wise large kernel convolution with large receptive field is proposed to capture cross-time dependency, and then two successive point-wise group convolution feed forward networks are proposed to capture cross-variable dependency. Experimental results on real-world benchmarks show that Cross-LKTCN achieves state-of-the-art forecasting performance and improves the forecasting accuracy significantly compared with existing convolutional-based models and cross-variable methods.

研究の動機と目的

• 多変量時系列予測において、特に畳み込みベースのモデルで未だ十分に掘り下げられていないクロス変数依存関係に対処すること。
• 受容 field の制限と弱い長期依存関係学習という課題を克服することで、時系列予測における畳み込みの役割を再活性化・強化すること。
• アテンション機構を用いず、時系列および変数レベルの依存関係を別々にモデル化する効率的なアーキテクチャを設計すること。
• アテンションベースのモデルと比較して線形計算複雑性を維持しながら、最先端の性能を達成すること。

提案手法

• 隣接する時系列ポイントからの意味的情報を集約し、局所性を向上させるパッチスタイルの埋め込み戦略を導入する。
• 広い受容 field を有する深さ方向の大口径畳み込みを採用し、長期間にわたる時系列間依存関係を効果的に捉える。
• 2段階のポイントワイドグループ畳み込みフィードフォワードネットワークを用いて、複雑なクロス変数依存関係をモデル化しつつ、変数固有の特徴を保持する。
• グループおよび深さ方向分離畳み込みの分離性を活用し、時系列および変数レベルの依存関係を別々にモデル化する。
• 因果畳み込みを削除することでアーキテクチャを単純化し、実証的証拠に基づき、時系列予測においてそれが不要であると示す。
• 大口径畳み込みの訓練を安定化させるために構造的再パラメータライゼーションを適用し、性能と一般化能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 大口径1次元畳み込みは、多変量時系列における長期的クロスタイム依存関係を効果的に捉えられるか？
• RQ2 アテンション機構を用いず、ポイントワイドグループ畳み込みフィードフォワードネットワークは、複雑なクロス変数依存関係を効率的にモデル化できるか？
• RQ3 明示的なクロス変数モデリングを備えた純粋な畳み込みベースアーキテクチャは、既存の畳み込みおよびアテンションベースのモデルを上回る性能を発揮するか？
• RQ4 カーネルサイズおよび入力長さは、提案アーキテクチャの性能にどのように影響するか？
• RQ5 提案モデルは、最先端のアテンションベースおよび畳み込みベースのモデルと比較して、計算効率が優れているか？

主な発見

• カーネルサイズを 3 から 51 に増加させることで、すべてのデータセットで予測性能が著しく向上し、特に ILI および Electricity データセットで最大の向上が観察された。
• ETTh1 データセットでは、予測長が 192 の場合、カーネルサイズ 51 がカーネルサイズ 3 に比べて MSE を 10.5% 減少させた。
• 入力長が長くなるにつれて性能が一貫して向上し、Cross-LKTCN が長期時系列依存関係を捉える能力を有していることが確認された。
• 9つの実世界ベンチマークで最先端の結果を達成し、畳み込みベースおよびアテンションベースの両方のモデルを上回った。
• アテンションベースのモデルが系列長に伴い二次的に増加するのに対し、Cross-LKTCN はクロスタイム依存関係モデリングにおいて線形複雑性を維持している。
• 複雑性解析から、Cross-LKTCN のクロス変数部は変数数 M に対して二次的に増加するが、自己アテンションが存在しないため、アテンションベースの代替手法よりも効率的であることが示された。