[论文解读] Adjusting for Autocorrelated Errors in Neural Networks for Time Series

Fan-Keng Sun, Christopher I. Lang+1 more|arXiv (Cornell University)|Jan 28, 2021

Time Series Analysis and Forecasting参考文献 51被引用 17

一句话总结

本文提出一种通过梯度下降联合学习误差自相关系数与模型参数的方法，以提升神经网络在时间序列上的性能。在多种数据集和架构上的实验表明，该方法在预测、回归、分类和异常检测任务中均表现出一致的性能提升，并提供了经验临界值以指导何时需要调整。

ABSTRACT

An increasing body of research focuses on using neural networks to model time series. A common assumption in training neural networks via maximum likelihood estimation on time series is that the errors across time steps are uncorrelated. However, errors are actually autocorrelated in many cases due to the temporality of the data, which makes such maximum likelihood estimations inaccurate. In this paper, in order to adjust for autocorrelated errors, we propose to learn the autocorrelation coefficient jointly with the model parameters. In our experiments, we verify the effectiveness of our approach on time series forecasting. Results across a wide range of real-world datasets with various state-of-the-art models show that our method enhances performance in almost all cases. Based on these results, we suggest empirical critical values to determine the severity of autocorrelated errors. We also analyze several aspects of our method to demonstrate its advantages. Finally, other time series tasks are also considered to validate that our method is not restricted to only forecasting.

研究动机与目标

• 为解决神经网络训练中常见的但具有问题的假设——即认为时间序列误差彼此不相关，而实际上由于遗漏变量、测量噪声和模型误设，现实中存在自相关性。
• 开发一种可泛化的通用方法，无需事先了解真实数据生成过程，即可对神经网络中的自相关误差进行调整。
• 通过实证方法确定残差自相关性的临界阈值，以指示何时调整是有益的。
• 在预测之外的多种时间序列任务中验证该方法的有效性，包括回归、分类和异常检测。

提出的方法

• 该方法引入一种可微分损失函数，其中包含一个通过梯度下降与神经网络参数联合学习的自相关系数估计值 ρ。
• 损失函数通过使用具有托普利茨协方差矩阵的多元正态分布，对误差项中的一阶自相关性进行建模，从而在标准最大似然估计基础上进行修正。
• 模型通过反向传播进行端到端训练，使 ρ 与网络权重同步优化，从而实现对自相关误差的自动检测与校正。
• 该方法在损失函数中同时应用于输入序列和输出序列，消融研究证实联合调整可带来最大性能提升。
• 通过大规模实验推导出残差自相关性的经验临界值，为实践者提供何时应用调整的指导。
• 通过将各类任务的预测误差视为需校正自相关性的时间序列，将该方法扩展至其他时间序列任务。

实验结果

研究问题

• RQ1 在多种真实世界数据集和神经网络架构下，联合学习自相关系数 ρ 与神经网络参数是否能提升时间序列预测性能？
• RQ2 残差自相关性的哪些实证阈值表明需要进行调整？这些阈值如何作为实际指导使用？
• RQ3 在不同表达能力的模型（如具有不同隐藏单元数的LSTM）中，对自相关误差进行校正所带来的性能增益如何变化？
• RQ4 所提出的方法是否能泛化到预测之外的其他时间序列任务，如回归、分类和异常检测？
• RQ5 在输入序列与输出序列中分别校正自相关性的相对贡献如何？联合调整是否为最优策略？

主要发现

• 所提出的方法在广泛的真实世界数据集和最先进的神经网络架构中，几乎在所有时间序列预测实验中均提升了性能。
• 随着模型表达能力的增强（如更大的LSTM架构），对自相关误差进行校正所带来的相对性能提升逐渐减小，表明更复杂的模型减少了对校正的需求。
• 识别出残差自相关性的经验临界值，为判断是否需要调整提供了实用阈值。
• 消融研究显示，在输入和输出序列中均进行自相关校正可带来最大性能增益，单独校正虽提升较小，但仍具显著益处。
• 该方法在多种时间序列任务中保持或提升了性能，包括回归、分类和无监督异常检测，展现出广泛的适用性。
• 当模型本身已高度表达且设定良好时，该方法效果减弱，因为残差自相关性已显著降低；但在真实世界场景中，由于真实数据生成过程未知，该方法仍具显著益处。