[論文レビュー] SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction

Minhao Liu, Ailing Zeng+5 more|arXiv (Cornell University)|Jun 17, 2021

Time Series Analysis and Forecasting参考文献 56被引用数 245

ひとこと要約

SCINetは階層的ダウンサンプリング-畳み込み-相互作用アーキテクチャ（SCI-Block）を導入し、時系列予測の多解像度時系列ダイナミクスをモデル化することで、RNN、TCN、Transformerベースラインと比較して多様なデータセットで高い性能を発揮します。

ABSTRACT

One unique property of time series is that the temporal relations are largely preserved after downsampling into two sub-sequences. By taking advantage of this property, we propose a novel neural network architecture that conducts sample convolution and interaction for temporal modeling and forecasting, named SCINet. Specifically, SCINet is a recursive downsample-convolve-interact architecture. In each layer, we use multiple convolutional filters to extract distinct yet valuable temporal features from the downsampled sub-sequences or features. By combining these rich features aggregated from multiple resolutions, SCINet effectively models time series with complex temporal dynamics. Experimental results show that SCINet achieves significant forecasting accuracy improvements over both existing convolutional models and Transformer-based solutions across various real-world time series forecasting datasets. Our codes and data are available at https://github.com/cure-lab/SCINet.

研究の動機と目的

• ダウンサンプリングして二つのサブシーケンスに分割した後も時間的関係が大部分保持されるという性質を活用して時系列予測を動機づける。
• マルチ解像度の時間特徴を抽出するSCI-Blocksを用いた新しいエンコーダ-デコーダアーキテクチャ（SCINet）を提案する。
• 階層的ダウンサンプリング-畳み込み-相互作用操作が実世界データセット全体で予測精度を向上させることを示す。
• 置換エントロピーを用いて学習表現を分析し予測性の改善を評価する。

提案手法

• 入力を偶数/奇数のサブシーケンスに分割し、異なる畳み込みを適用し、アファイン変換を介してサブシーケンス間の情報を交換する相互作用学習を用いる。
• SCINetをSCI-Blocksのバイナリツリーとして構築し、多解像度の時間的依存性を捉え、系列の局所的および全体的なビューを提供する。
• さらに forecasting性能を高めるため Intermediate supervision を伴う複数のSCINetを積み重ねる（Stacked SCINet）ことを選択的に行う。
• 強化表現を元の系列に加える残差接続を用い、単純な全結合ネットワークでデコードする。
• 多段L1損失でスタックしたモデルを訓練し、全てのSCINetに渡って損失を合算する。

実験結果

リサーチクエスチョン

• RQ1 ダウンサンプリング-畳み込み-相互作用ブロックは、標準の拡張畳み込みよりも複雑な時間ダイナミクスをより効果的に捉えられるのか？
• RQ2 SCINetのバリアント（単体、スタック、中間監視付き）は、多様なデータセットに対してRNN、TCN、Transformerベースの時系列予測モデルを上回るのか？
• RQ3 明示的な空間モデリングなしで、短期・長期・時空間予測タスクでSCINetはどのように性能を発揮するのか？
• RQ4 学習された表現は、元の入力よりも予測可能性を示すのか（置換エントロピーで測定）？

主な発見

• SCINetはさまざまな実データセット全体で既存のTSFモデル（RNN/TCN/Transformerベースラインを含む）を一貫して上回る。
• 長期予測の結果では、多くの設定で最先端の性能を達成し、選択されたベンチマークで平均的に大幅な改善を示す。
• 空間-時系列タスク（例：交通データ）では、明示的な空間的関係モデリングなしで競争力のある予測精度を提供する。
• 置換エントロピー分析は、SCINetが学習する強化表現が元の入力よりも複雑さが低く、予測しやすいことを示している。
• このアーキテクチャは、計算複雑性が好ましく（最悪ケース O(T log T)）、多くの場合深さ（L ≤ 5）を小さく抑えられる可能性がある、TCNsと同程度の計算量を達成。