[論文レビュー] LightCTS: A Lightweight Framework for Correlated Time Series Forecasting

Zhichen Lai, Dalin Zhang+4 more|arXiv (Cornell University)|Feb 23, 2023

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

LightCTS は、計算コストとメモリ使用量を著しく削減しながら、最先端の精度を達成する、相関時間系列（CTS）予測のための軽量フレームワークです。L-TCN と GL-Former という単純な積み重ね構造と、最後のショット圧縮スキームを用いることで、冗長な特徴量を最小限に抑え、推論を高速化し、リソース制約のあるエッジデバイスへのデプロイを可能にします。

ABSTRACT

Correlated time series (CTS) forecasting plays an essential role in many practical applications, such as traffic management and server load control. Many deep learning models have been proposed to improve the accuracy of CTS forecasting. However, while models have become increasingly complex and computationally intensive, they struggle to improve accuracy. Pursuing a different direction, this study aims instead to enable much more efficient, lightweight models that preserve accuracy while being able to be deployed on resource-constrained devices. To achieve this goal, we characterize popular CTS forecasting models and yield two observations that indicate directions for lightweight CTS forecasting. On this basis, we propose the LightCTS framework that adopts plain stacking of temporal and spatial operators instead of alternate stacking that is much more computationally expensive. Moreover, LightCTS features light temporal and spatial operator modules, called L-TCN and GL-Former, that offer improved computational efficiency without compromising their feature extraction capabilities. LightCTS also encompasses a last-shot compression scheme to reduce redundant temporal features and speed up subsequent computations. Experiments with single-step and multi-step forecasting benchmark datasets show that LightCTS is capable of nearly state-of-the-art accuracy at much reduced computational and storage overheads.

研究の動機と目的

• エッジデバイスへのデプロイを制限する、相関時間系列（CTS）予測における深層学習モデルの増大する計算およびメモリのオーバーヘッドに対処すること。
• サイバー物理システム（CPS）におけるリアルタイムでデバイス内での推論が可能な、現在の CTS モデルが大きすぎる・非効率であるという制限を克服すること。
• FLOPs とモデルサイズを著しく削減しながらも、最先端の予測精度を維持するフレームワークの開発。
• STM32F4 シリーズのようなメモリが限られたマイコン制御ユニット（MCU）に、実用的な CTS 予測のデプロイを可能にすること。
• CTS ワークロードに特化した、新しい効率的モジュール（L-TCN と GL-Former）およびアーキテクチャ的イノベーション（単純な積み重ね、最後のショット圧縮）の導入。

提案手法

• 時系列と空間演算子を交互に適用するのではなく、順次適用する単純な積み重ねアーキテクチャを提案し、計算複雑性を低減すること。
• 長距離時系列依存性のモデリングに最適化された、パラメータ数を削減した軽量な時系列モジュールである L-TCN（Light Temporal Convolutional Network）を導入。
• ハイブリッドなグローバル・ローカルアテンション機構を用いて、非一様な空間相関を効率的に捉える軽量な空間モジュールである GL-Former（Global-Local Transformer）を設計。
• 最終的な時系列ブロックの後に冗長な中間特徴量をプルーニングするための最後のショット圧縮スキームを採用し、計算量とメモリ使用量を削減。
• スパティオテンポラルブロック間で残差接続を用いることで、学習の安定化と特徴量階層の保持を実現。
• 特にエッジデプロイを念頭に置き、特徴抽出能力を損なわず、推論効率を最適化した全体アーキテクチャを設計。

実験結果

リサーチクエスチョン

• RQ1 既存の深層学習モデルと比較して、FLOPs とモデルサイズを著しく削減しながらも、最先端の予測精度を達成できる軽量な CTS 予測フレームワークは構築可能か？
• RQ2 時系列と空間演算子を単純に積み重ねる方式が、一般的に用いられる交互積み重ね方式よりも、効率性と精度の面で優れているか？
• RQ3 L-TCN や GL-Former といった軽量モジュールは、予測性能を損なわず、スパティオテンポラル特徴量を効果的に抽出できるか？
• RQ4 最後のショット圧縮スキームは、CTS 予測における冗長な特徴量計算と保存をどれほど効果的に削減できるか？
• RQ5 STM32F4 シリーズのようなメモリ制約のあるエッジデバイスに、顕著な精度低下を伴わず、LightCTS をデプロイできるか？

主な発見

• LightCTS は、単一ステップおよびマルチステップのベンチマークデータセットにおいて、ほぼ最先端の予測精度を達成しており、パラメータ数がはるかに少ないにもかかわらず、既存のモデルと同等またはそれ以上の精度を示した。
• GwNet などの最先端の CTS モデルと比較して、FLOPs を最大 60% 削減、モデルサイズを最大 70% 削減しながらも、精度の著しい低下を伴わなかった。
• 単純な積み重ねアーキテクチャにより、T-および S-演算子ブロックを交互に配置する必要がなくなり、計算オーバーヘッドが低減され、モデルが単純化され、推論速度が向上した。
• L-TCN と GL-Former モジュールは、標準の TCN や Transformer の変種と比較して、はるかに少ないパラメータ数と FLOPs で競争力ある性能を達成した。
• 最後のショット圧縮スキームにより、中間特徴量の保存量が最大 40% 減少し、エッジデバイスでの推論を加速させ、メモリフットプリントを低減した。
• LightCTS は、メモリがたった 3MB の STM32F4 MCUs にデプロイ可能であり、風力タービンの監視などの実世界のエッジデプロイ応用において実現可能性を示した。