[论文解读] UnetTSF: A Better Performance Linear Complexity Time Series Prediction Model

Li chu, Xiao Bingjia+1 more|arXiv (Cornell University)|Jan 5, 2024

Neural Networks and Applications被引用 7

一句话总结

UnetTSF 提出了一种基于 U-Net 架构的线性复杂度时间序列预测模型，采用新颖的特征金字塔网络（FPN）实现分层趋势与季节性特征提取。该模型在 32 个多元时间序列任务中优于 DLinear 和 PatchTST，在均方误差（MSE）和平均绝对误差（MAE）上分别取得 31/32 项最优结果，平均分别降低 10.1% 和 9.1%，同时保持较低的计算成本。

ABSTRACT

Recently, Transformer-base models have made significant progress in the field of time series prediction which have achieved good results and become baseline models beyond Dlinear. The paper proposes an U-Net time series prediction model (UnetTSF) with linear complexity, which adopts the U-Net architecture. We are the first to use FPN technology to extract features from time series data, replacing the method of decomposing time series data into trend and seasonal terms, while designing a fusion structure suitable for time series data. After testing on 8 open-source datasets, compared to the best linear model DLiner. Out of 32 testing projects, 31 achieved the best results. The average decrease in mse is 10.1%, while the average decrease in mae is 9.1%. Compared with the complex transformer-base PatchTST, UnetTSF obtained 9 optimal results for mse and 15 optimal results for mae in 32 testing projects.

研究动机与目标

• 为解决现有时间序列模型中二元分解方法的局限性，该方法将趋势与季节性特征解耦并采用简单融合策略。
• 设计一种轻量化、高效的模型，具备线性复杂度，适用于资源受限环境下的实际部署。
• 通过 U-Net 结构结合多尺度融合实现分层特征学习，提升预测精度。
• 提出一种新型数据表示方法——基于 FPN 的时间序列描述，超越原始数据与二元分解。
• 在最小化模型参数量与乘加操作数（MACs）的前提下，实现在多元时间序列基准上的最先进性能。

提出的方法

• 为时间序列数据提出一种特征金字塔网络（FPN），利用小尺寸池化核提取多层次趋势与季节性特征，无需将时间序列分解为趋势与季节性分量。
• 引入基于 U-Net 的架构，通过跳跃连接将高层趋势特征融合至低层特征，实现分层特征整合。
• 采用多步融合策略，逐步将深层趋势特征融入浅层特征，同时保留局部与全局模式。
• 使用全连接层与池化层以保持线性计算复杂度，避免 Transformer 中使用的注意力机制。
• 采用端到端训练，基于多元时间序列的均方误差（MSE）与平均绝对误差（MAE）损失函数，使用固定回溯窗口进行推理。
• 设计一种融合模块，在多个层级上结合趋势与季节性特征，提升表征学习能力，超越简单的加法融合。

实验结果

研究问题

• RQ1 基于 U-Net 的架构结合 FPN 式特征提取，是否能在时间序列预测中超越 DLinear 等现有线性复杂度模型？
• RQ2 用分层 FPN 式特征提取替代二元分解，是否能提升模型性能与泛化能力？
• RQ3 能否通过轻量化全连接 U-Net 模型在保持线性复杂度与低内存占用的前提下，实现最先进性能？
• RQ4 与复杂 Transformer 模型（如 PatchTST）相比，UnetTSF 在准确性、推理速度与参数效率方面表现如何？
• RQ5 在 U-Net 结构中，多层级特征融合在长程多元时间序列预测中的性能提升程度如何？

主要发现

• 在 8 个数据集的多元时间序列预测中，UnetTSF 在 MSE 与 MAE 上分别取得 31/32 项最优结果，显著优于 DLinear 与 PatchTST。
• 与 DLinear 相比，UnetTSF 在 32 组实验中平均 MSE 降低 10.1%，平均 MAE 降低 9.1%。
• 在周期性天气数据集上，UnetTSF 取得全部最优结果，相比 PatchTST，MSE 降低 1.0%，MAE 降低 0.4%；相比 DLinear，MSE 降低 12.6%，MAE 降低 15.1%。
• 在 ILI 数据集上，对于预测长度为 60 的情形，UnetTSF 相比 DLinear 将 MSE 降低 66.6%，MAE 降低 46.7%。
• 在 PatchTST 基准测试中，UnetTSF 在 MAE 上取得 15 项最优，在 MSE 上取得 9 项最优，分别在 7 次与 10 次中优于复杂模型 PatchTST。
• 在计算效率方面，UnetTSF 仅使用 13.56M MACs，比 DLinear 少 6.6%，比 PatchTST 少 12.1 倍，因此在低资源环境中极具适用性。