[论文解读] A Multi-Scale Decomposition MLP-Mixer for Time Series Analysis

Shuhan Zhong, Sizhe Song+4 more|arXiv (Cornell University)|Oct 18, 2023

Time Series Analysis and ForecastingComputer Science被引用 3

一句话总结

本文提出MSD-Mixer，一种用于时间序列分析的多尺度分解MLP-Mixer，通过多尺度时间块划分显式地将输入序列分解为不同的时间成分，并在各层学习表示。通过采用一种新颖的残差损失以强制实现分解的完整性，MSD-Mixer在五个任务中均达到最先进性能，长期预测的MSE相比之前方法最高提升9.8%，数据填补的MSE最高提升46.1%。

ABSTRACT

Time series data, including univariate and multivariate ones, are characterized by unique composition and complex multi-scale temporal variations. They often require special consideration of decomposition and multi-scale modeling to analyze. Existing deep learning methods on this best fit to univariate time series only, and have not sufficiently considered sub-series modeling and decomposition completeness. To address these challenges, we propose MSD-Mixer, a Multi-Scale Decomposition MLP-Mixer, which learns to explicitly decompose and represent the input time series in its different layers. To handle the multi-scale temporal patterns and multivariate dependencies, we propose a novel temporal patching approach to model the time series as multi-scale patches, and employ MLPs to capture intra- and inter-patch variations and channel-wise correlations. In addition, we propose a novel loss function to constrain both the mean and the autocorrelation of the decomposition residual for better decomposition completeness. Through extensive experiments on various real-world datasets for five common time series analysis tasks, we demonstrate that MSD-Mixer consistently and significantly outperforms other state-of-the-art algorithms with better efficiency.

研究动机与目标

• 解决现有深度学习模型在处理时间序列数据中复杂、多尺度时间模式方面的局限性。
• 通过显式建模子序列特征和多时间尺度上的通道间依赖关系，提升分解的完整性。
• 开发一种任务通用的主干网络，在无需针对特定任务修改网络结构的情况下，实现对多样化时间序列分析任务的优异表现。
• 通过学习对应于不同时间模式的解耦成分，提升模型的可解释性。

提出的方法

• 提出一种多尺度时间块划分策略，将时间序列在不同网络层中划分为不同大小的非重叠块，以捕捉多尺度子序列模式。
• 采用多层感知机（MLPs）建模块内变化、块间依赖关系，以及时间维和通道维之间的相关性。
• 设计一种新颖的残差损失，通过约束分解残差的幅值和自相关性，确保有意义的时间模式被完整提取。
• 在训练过程中将残差损失与主任务损失联合使用，以提升分解完整性及下游任务性能。
• 在多个任务（预测、填补、异常检测、分类）中使用相同的网络架构，无需结构修改，验证其任务通用能力。

实验结果

研究问题

• RQ1 与端到端模型相比，显式多尺度分解是否能在多样化时间序列分析任务中提升性能？
• RQ2 多尺度时间块划分在建模子序列级特征和多时间尺度模式方面有何增强作用？
• RQ3 通过残差损失强制实现分解完整性，对模型性能和可解释性的影响程度如何？
• RQ4 单一统一架构是否能有效作为预测、填补、异常检测和分类任务的通用主干网络？

主要发现

• 在长期预测任务中，MSD-Mixer相比最先进方法在基准数据集上的MSE最高提升9.8%。
• 在短期预测任务中，MSD-Mixer相比现有方法将OWA评分降低最多5.6%。
• 在数据填补任务中，MSD-Mixer的MSE相比基线最高提升46.1%，表现出对缺失数据的强鲁棒性。
• 在异常检测任务中，MSD-Mixer相比基线F1-score最高提升33.1%，表明其具有优越的检测能力。
• 在分类任务中，MSD-Mixer相比最先进模型准确率最高提升6.5%，展现出强大的泛化能力。
• 消融实验表明，移除多尺度分块或残差损失会显著降低性能，验证了各组件设计的有效性。