[論文レビュー] CycleNet: Enhancing Time Series Forecasting through Modeling Periodic Patterns

Shengsheng Lin, Weiwei Lin+4 more|arXiv (Cornell University)|Sep 27, 2024

Time Series Analysis and Forecasting被引用数 6

ひとこと要約

CycleNet は Residual Cycle Forecasting (RCF) を導入し、学習可能な再帰的サイクルを用いて周期パターンを明示的にモデル化し、Linear や浅い MLP のような軽量バックボーンを用いつつ長期的な予測性能を向上させる。

ABSTRACT

The stable periodic patterns present in time series data serve as the foundation for conducting long-horizon forecasts. In this paper, we pioneer the exploration of explicitly modeling this periodicity to enhance the performance of models in long-term time series forecasting (LTSF) tasks. Specifically, we introduce the Residual Cycle Forecasting (RCF) technique, which utilizes learnable recurrent cycles to model the inherent periodic patterns within sequences, and then performs predictions on the residual components of the modeled cycles. Combining RCF with a Linear layer or a shallow MLP forms the simple yet powerful method proposed in this paper, called CycleNet. CycleNet achieves state-of-the-art prediction accuracy in multiple domains including electricity, weather, and energy, while offering significant efficiency advantages by reducing over 90% of the required parameter quantity. Furthermore, as a novel plug-and-play technique, the RCF can also significantly improve the prediction accuracy of existing models, including PatchTST and iTransformer. The source code is available at: https://github.com/ACAT-SCUT/CycleNet.

研究の動機と目的

• 長期的な時系列予測における共有された周期パターンの役割と影響を特定する。
• 学習可能な再帰サイクルを介して周期パターンを明示的にモデル化する Residual Cycle Forecasting (RCF) を提案する。
• RCF を単純なバックボーン（CycleNet/Linear または CycleNet/MLP）と結合して CycleNet を開発する。
• 電力、気象、エネルギーなどの分野における効率向上と広範な適用性を示す。
• RCF が既存モデルをプラグアンドプレイモジュールとして改善できることを示す。

提案手法

• 形状 W x D の学習可能な再帰サイクル Q を定義し、チャネル全体のグローバルな周期パターンをモデル化する。
• Q をグローバルに共有し、入力ウィンドウに合わせてサイクル状に複製して循環成分を構築する。
• 入力から循環成分を取り除いて残差予測を計算し、バックボーンで残差を予測し、予測されたサイクルを再度足し合わせる。
• バックボーンの選択肢には、単一層の Linear または チャネル独立のパラメータ共有を持つ二層 MLP が含まれる。
• 入力/出力に対してインスタンス正規化（RevIN 風）を任意に適用し、頑健性を向上させる。
• 基準モデルとの公平な比較のため Mean Squared Error (MSE) 損失で最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な再帰サイクルによる周期パターンの明示的モデリングは、長期の時系列予測を改善できるだろうか？
• RQ2 RCF 手法は単純なバックボーン（Linear/MLP）とどのように相互作用して最先端の結果を達成するのか？
• RQ3 RCF は既存モデルを強化するプラグアンドプレイモジュールとして移植性があるか？
• RQ4 CycleNet の効率性は、トランスフォーマーベースや深層モデルと比較してどのような影響があるか？
• RQ5 データセット間でサイクル長さの選択 W は性能にどのように影響するか？

主な発見

• RCF with simple backbones achieves state-of-the-art results across multiple domains (electricity, weather, Solar-Energy) for long-term forecasting, with CycleNet/MLP often ranking first and CycleNet/Linear second.
• RCF provides substantial efficiency gains by requiring only W×D additional parameters and no extra MACs, yielding over 90% fewer parameters in CycleNet variants.
• RCF improves not only CycleNet but also existing models (e.g., PatchTST, iTransformer) as a plug-and-play module.
• Performance gains from RCF are particularly strong on datasets with clear periodic patterns (e.g., Electricity, Solar-Energy); misalignment of W can reduce benefits or render them comparable to the base model.
• Learned periodic patterns visualize diverse channel-specific cycles, validating the method’s ability to capture inherent periodicity.