[論文レビュー] FITS: Modeling Time Series with $10k$ Parameters

Zhijian Xu, Ailing Zeng+1 more|arXiv (Cornell University)|Jul 6, 2023

Time Series Analysis and Forecasting被引用数 16

ひとこと要約

FITSは、周波数ドメインで補間を実行し、時間ドメインへマッピングすることで、約5k–10kパラメータで競争力のある最先端レベルの結果を達成する、時系列データ向けの軽量な複素周波数ドメイン補間モデルを提案します。

ABSTRACT

In this paper, we introduce FITS, a lightweight yet powerful model for time series analysis. Unlike existing models that directly process raw time-domain data, FITS operates on the principle that time series can be manipulated through interpolation in the complex frequency domain. By discarding high-frequency components with negligible impact on time series data, FITS achieves performance comparable to state-of-the-art models for time series forecasting and anomaly detection tasks, while having a remarkably compact size of only approximately $10k$ parameters. Such a lightweight model can be easily trained and deployed in edge devices, creating opportunities for various applications. The code is available in: \url{https://github.com/VEWOXIC/FITS}

研究の動機と目的

• リソース制約のあるエッジデバイスで伝統的なモデルが大きすぎるという問題に対する時系列分析の動機づけ。
• 複素値パラメータを用いて振幅と位相を捉える周波数ドメイン補間アプローチを導入。
• 小さな5k–10kパラメータのモデルでも最先端またはほぼ最先端の性能を達成できることを示す。
• FITSの適用性を、簡易で訓練可能なパイプラインを通じて予測と異常検知タスクに対して実証する。

提案手法

• rFFTによる時系列セグメントを複素周波数ドメインへ変換。
• 周波数ドメインでの補間を行うため、単一の複素値線形層を通じて振幅スケーリングと位相シフトを学習。
• 重要な情報を保持しつつ周波数表現を圧縮するためにローパスフィルタを適用。
• 標準的な損失関数（例：MSE）で監督を受けるために時系列ドメインへ逆変換。
• DC成分を処理し訓練を安定化させるための可逆的なインスタンス単位正規化の使用。
• forecastingタスクには回帰期間（look-back）と horizon、backcastingを組み合わせた監督、再構成タスクには再構成監督を用いて訓練。

Figure 2: Pipeline of FITS, with a focus on the forecasting task. Initially, the time series is normalized to zero-mean, followed by rFFT for frequency domain projection. After LPF, a single complex-valued linear layer interpolates the frequency. Zero padding and irFFT then revert this back to the t

実験結果

リサーチクエスチョン

• RQ1 周波数ドメイン補間とコンパクトな複素値層は、大規模なTSFモデルと比べて予測精度で競争力を得られるか。
• RQ2 ローパスフィルタと可逆正規化を適用して情報の本質を保持しつつ、エッジデバイス展開を可能にするか。
• RQ3 はるかに少ないパラメータ数でも、標準ベンチマークで予測と異常検知をどのように達成するか。
• RQ4 look-backウィンドウ長とカットオフ周波数が性能と効率に与える影響はどの程度か。
• RQ5 予測とバックキャスティングを共同で監督することで、実践的な予測タスクの性能が向上するか。

主な発見

モデル	パラメータ	MACs	推論時間
TimesNet	301.7M	1226.49G	N/A
Pyraformer	241.4M	0.80G	3.4ms
Informer	14.38M	3.93G	49.3ms
Autoformer	14.91M	4.41G	164.1ms
FiLM	14.91M	5.97G	123.0ms
FEDformer	20.68M	4.41G	40.5ms
PatchTST	1.5M	5.07G	3.3ms
DLinear	139.7K	40M	0.4ms (CPU)
FITS (Ours)	4.5K ~ 10K	1.6M ~ 8.9M	0.6ms (CPU)

• FITSは約5k–10kパラメータという低いパラメータ数で、長期予測データセットにおいて競争力のある、または最先端に近い結果を達成する。
• ETTh1/ETTh2およびElectricityデータセットで、パラメータ数とMAC数を大幅に抑えつつ、MSEでいくつかのより大規模なベースラインを上回る。
• 電力データセット Electricty の場合、Table 3においてFITSは4.5K–16Kパラメータ、1.6M–8.9M MAC、1.6ms CPU推論時間、look-back=96、horizon=720を実現。
• FITSはTimesNet、Pyraformerなどと比較して桁違いに少ないパラメータ数で、強力な性能を維持する。
• より長いlook-backウィンドウは一般に性能を改善する傾向があり、カットオフ周波数を上げると計算コストが増えるがわずかな利益を得られる。
• 異常検知では、複数のデータセットで低パラメータ数かつサブミリ秒の推論時間で高いF1スコアを達成しており、迅速なファーストレスポンダーツールとしての適性が示される。

Figure 4: Pipeline of FITS, with a focus on the Reconstruction task.