[论文解读] ConvTimeNet: A Deep Hierarchical Fully Convolutional Model for Multivariate Time Series Analysis

Mingyue Cheng, Jiqian Yang+3 more|arXiv (Cornell University)|Mar 3, 2024

Time Series Analysis and Forecasting被引用 5

一句话总结

ConvTimeNet 引入了一种纯卷积、可变形补丁、分层骨干网络，能够捕捉多尺度的时序与跨变量依赖，用于预测和分类，在多个基准数据集上达到最先进或具有竞争力的结果。

ABSTRACT

Designing effective models for learning time series representations is foundational for time series analysis. Many previous works have explored time series representation modeling approaches and have made progress in this area. Despite their effectiveness, they lack adaptive perception of local patterns in temporally dependent basic units and fail to capture the multi-scale dependency among these units. Instead of relying on prevalent methods centered around self-attention mechanisms, we propose ConvTimeNet, a hierarchical pure convolutional model designed for time series analysis. ConvTimeNet introduces a deformable patch layer that adaptively perceives local patterns of temporally dependent basic units in a data-driven manner. Based on the extracted local patterns, hierarchical pure convolutional blocks are designed to capture dependency relationships among the representations of basic units at different scales. Moreover, a large kernel mechanism is employed to ensure that convolutional blocks can be deeply stacked, thereby achieving a larger receptive field. In this way, local patterns and their multi-scale dependencies can be effectively modeled within a single model. Extensive experiments comparing a wide range of different types of models demonstrate that pure convolutional models still exhibit strong viability, effectively addressing the aforementioned two challenges and showing superior performance across multiple tasks. The code is available for reproducibility.

研究动机与目标

• 激励一个通用时间序列模型，利用卷积架构取代基于 Transformer 的主导方法。
• 引入可变形补丁嵌入，以保留局部语义并使补丁边界适应数据。
• 提出具有深度卷积和逐点卷积的全卷积块，以建模时序和跨变量依赖。
• 构建一个分层的深度架构，以学习多尺度表示和全局感受野。
• 在预测和分类基准上对比强基线，验证有效性。

提出的方法

• 提出可变形补丁嵌入（DePatch），使用轻量级预测器自适应地从输入时间序列中选择和缩放补丁。
• 构建一组全卷积块，用深度卷积替代自注意力进行时序建模，并用1x1逐点卷积进行跨变量混合。
• 使用可学习的残差机制以稳定极深的结构，并在训练中使用批量归一化。
• 应用重参数化策略，将大核和小核统一以实现高效推断。
• 探索具有多阶段和变化核大小的分层体系结构，以捕捉多尺度信息。
• 在时间序列预测和分类基准上评估 ConvTimeNet，与卷积和基于 Transformer 的基线进行对比。

实验结果

研究问题

• RQ1 可变形补丁嵌入是否能够在时间序列建模中提升语义保留和表示质量？
• RQ2 带深度卷积/逐点结构的全卷积块在没有自注意力的情况下，是否能够有效建模时序和跨变量依赖？
• RQ3 分层的多尺度卷积设计与基于 Transformer 的模型及其他卷积模型在预测和分类方面的比较如何？
• RQ4 分层深度和核大小配置对性能和效率的影响是什么？

主要发现

• ConvTimeNet 在多个预测数据集上实现了最先进或具有竞争力的结果，在许多场景中超越了若干基线。
• 可变形补丁嵌入显著提升了跨数据集的分类性能，在 FM 和 DDG 数据集上尤有显著提升。
• 在大多数预测场景中，全卷积块优于 Transformer 编码器块，验证了所提架构选择。
• 三阶段分层结构通常比单阶段或两阶段配置带来更好的分类性能。
• 通过更大核大小和更深的层次学习到的多尺度表示有助于提高预测准确性和全局感受野。