[论文解读] A Temporal Linear Network for Time Series Forecasting

Rémi Genet, Hugo Inzirillo|arXiv (Cornell University)|Oct 28, 2024

Time Series Analysis and Forecasting被引用 1

一句话总结

本文提出时序线性网络（TLN），一种用于多变量时间序列预测的新型线性架构，通过扩张卷积和专用的核初始化策略保持时序结构，其性能优于标准线性模型，并与复杂架构相当，同时通过线性等价形式保持完全可解释性。

ABSTRACT

Recent research has challenged the necessity of complex deep learning architectures for time series forecasting, demonstrating that simple linear models can often outperform sophisticated approaches. Building upon this insight, we introduce a novel architecture the Temporal Linear Net (TLN), that extends the capabilities of linear models while maintaining interpretability and computational efficiency. TLN is designed to effectively capture both temporal and feature-wise dependencies in multivariate time series data. Our approach is a variant of TSMixer that maintains strict linearity throughout its architecture. TSMixer removes activation functions, introduces specialized kernel initializations, and incorporates dilated convolutions to handle various time scales, while preserving the linear nature of the model. Unlike transformer-based models that may lose temporal information due to their permutation-invariant nature, TLN explicitly preserves and leverages the temporal structure of the input data. A key innovation of TLN is its ability to compute an equivalent linear model, offering a level of interpretability not found in more complex architectures such as TSMixer. This feature allows for seamless conversion between the full TLN model and its linear equivalent, facilitating both training flexibility and inference optimization.

研究动机与目标

• 通过结合线性模型的简洁性与深度学习的结构优势，弥合多变量时间序列预测在可解释性与性能方面的差距。
• 克服如Transformer等排列不变模型因自注意力机制而丢失时序信息的局限性。
• 设计一种在整个过程中保持严格线性的模型，以实现完全可解释性，并可无缝转换为线性等价形式。
• 证明TLN在多变量预测任务中优于标准线性回归和TSMixer，同时保持计算效率。
• 提供一种实用的开源实现，以促进在各类时间序列预测应用中的采用。

提出的方法

• 设计一种时序线性网络（TLN）作为TSMixer的变体，移除激活函数以保持线性。
• 引入扩张卷积，以在不增加模型深度的情况下建模多尺度时序依赖。
• 应用专用的核初始化策略，以稳定训练并增强线性架构中的表征学习能力。
• 通过尊重序列结构的卷积操作，显式保留输入中的时序顺序。
• 从完整的TLN架构构建线性等价模型，以实现可解释性与解析推理。
• 使用标准优化方法端到端训练模型，利用初始化过程中形成的固有权重重关系以提升泛化能力。

实验结果

研究问题

• RQ1 一种严格线性的神经网络架构能否有效捕捉多变量时间序列中的复杂时序与特征依赖？
• RQ2 TLN架构是否在多变量预测任务中优于标准线性回归和TSMixer，同时保持可解释性？
• RQ3 扩张卷积与专用初始化在多变量时间序列预测的线性模型中在多大程度上提升了性能？
• RQ4 与更复杂的架构相比，TLN模型在不同序列长度和预测时长下如何保持鲁棒性？
• RQ5 TLN的线性等价形式是否能在不牺牲预测性能的前提下提供有意义的可解释性？

主要发现

• TLN在所有评估的多变量预测任务中均优于标准线性回归，展现出更强的泛化能力和更高的预测精度。
• 该模型在保持完全可解释性的同时，性能可与更复杂的架构（如Transformer和TSMixer）相媲美。
• TLN在不同输入配置下表现出显著的稳定性，包括不同的序列长度和预测时长。
• 扩张卷积的使用使长程时序依赖得以有效建模，且无需引入非线性。
• TLN的专用核初始化与架构设计形成了内在的权重重关系，使其表达能力超越标准线性回归。
• 在PyPI上的开源实现确保了可复现性，并促进了在各类时间序列预测流程中的集成。