[论文解读] LightCTS: A Lightweight Framework for Correlated Time Series Forecasting

Zhichen Lai, Dalin Zhang+4 more|arXiv (Cornell University)|Feb 23, 2023

Time Series Analysis and Forecasting被引用 5

一句话总结

LightCTS 是一种用于相关时间序列（CTS）预测的轻量化框架，以显著降低的计算和内存成本实现了最先进（SOTA）的预测精度。它通过简单堆叠时间与空间算子（L-TCN 和 GL-Former）以及最后一跳压缩方案，最小化冗余特征并加速推理，从而实现在资源受限边缘设备上的部署。

ABSTRACT

Correlated time series (CTS) forecasting plays an essential role in many practical applications, such as traffic management and server load control. Many deep learning models have been proposed to improve the accuracy of CTS forecasting. However, while models have become increasingly complex and computationally intensive, they struggle to improve accuracy. Pursuing a different direction, this study aims instead to enable much more efficient, lightweight models that preserve accuracy while being able to be deployed on resource-constrained devices. To achieve this goal, we characterize popular CTS forecasting models and yield two observations that indicate directions for lightweight CTS forecasting. On this basis, we propose the LightCTS framework that adopts plain stacking of temporal and spatial operators instead of alternate stacking that is much more computationally expensive. Moreover, LightCTS features light temporal and spatial operator modules, called L-TCN and GL-Former, that offer improved computational efficiency without compromising their feature extraction capabilities. LightCTS also encompasses a last-shot compression scheme to reduce redundant temporal features and speed up subsequent computations. Experiments with single-step and multi-step forecasting benchmark datasets show that LightCTS is capable of nearly state-of-the-art accuracy at much reduced computational and storage overheads.

研究动机与目标

• 解决深度学习模型在相关时间序列（CTS）预测中日益增长的计算与内存开销问题，该问题限制了其在边缘设备上的部署。
• 克服现有 CTS 模型因参数量过大且效率低下，难以在信息物理系统（CPS）中实现实时、设备端推理的局限性。
• 开发一种在大幅降低浮点运算量（FLOPs）和模型尺寸的同时，仍能保持最先进预测精度的框架。
• 实现在内存受限的微控制器单元（MCUs）上，如 STM32F4 系列，对 CTS 预测的实际部署。
• 提出新颖且高效的模块（L-TCN 和 GL-Former）以及架构创新（简单堆叠、最后一跳压缩），专为 CTS 工作负载设计。

提出的方法

• 提出一种简单堆叠架构，按顺序依次应用时间与空间算子，而非交替使用，从而降低计算复杂度。
• 引入 L-TCN（轻量级时间卷积网络），一种专为长程时间依赖建模优化的轻量级时间模块，参数量显著减少。
• 设计 GL-Former（全局-局部 Transformer），一种轻量级空间模块，通过混合全局-局部注意力机制高效捕捉非均匀的空间相关性。
• 采用最后一跳压缩方案，在最后一个时间块之后剪枝冗余的中间特征，降低计算与内存消耗。
• 在时空模块之间使用残差连接，以稳定训练并保留特征层次结构。
• 对整体架构进行推理效率优化，同时不牺牲特征提取能力，尤其适用于边缘设备部署。

实验结果

研究问题

• RQ1 与现有深度学习模型相比，轻量化 CTS 预测框架是否能在大幅减少 FLOPs 和模型尺寸的同时，实现接近最先进（SOTA）的预测精度？
• RQ2 与常用的交替堆叠方式相比，时间与空间算子的简单堆叠是否在效率与精度方面更具优势？
• RQ3 如 L-TCN 和 GL-Former 等轻量化模块是否能有效提取时空特征，而不会损害预测性能？
• RQ4 最后一跳压缩方案在减少 CTS 预测中冗余特征计算与存储方面效果如何？
• RQ5 LightCTS 在内存受限的边缘设备（如 MCU）上部署时，其精度下降程度如何，是否具备实际可行性？

主要发现

• LightCTS 在单步与多步基准数据集上实现了近乎最先进（SOTA）的预测精度，其精度优于或匹配现有模型，同时参数量远低于后者。
• 与最先进 CTS 模型（如 GwNet）相比，LightCTS 将 FLOPs 最多降低 60%，模型尺寸最多减少 70%，且精度损失可忽略不计。
• 简单堆叠架构通过消除交替使用 T-和 S-算子模块的需求，降低了计算开销，简化了模型结构，提升了推理速度。
• L-TCN 与 GL-Former 模块在参数量与 FLOPs 显著减少的前提下，实现了与标准 TCN 和 Transformer 变体相当的性能。
• 最后一跳压缩方案将中间特征存储量最多减少 40%，从而加速推理并降低边缘设备上的内存占用。
• LightCTS 可在仅配备 3MB 内存的 STM32F4 MCU 上成功部署，证明其在风力涡轮机监测等实际边缘应用场景中的可行性。