[论文解读] Model identification for ARMA time series through convolutional neural networks

Wai Hoh Tang, Adrian Röllin|arXiv (Cornell University)|Apr 11, 2018

Neural Networks and Applications被引用 4

一句话总结

本文提出使用在模拟 ARMA 时间序列上训练的卷积神经网络（CNN）来识别最优 ARMA 模型阶数，从而绕过传统的基于似然的方法。训练后的 CNN 在准确率上显著更高，推理速度比 AIC/BIC 快上数量级，同时还能提升后续的预测性能。

ABSTRACT

In this paper, we use convolutional neural networks to address the problem of model identification for autoregressive moving average time series models. We compare the performance of several neural network architectures, trained on simulated time series, with likelihood based methods, in particular the Akaike and Bayesian information criteria. We find that our neural networks can significantly outperform these likelihood based methods in terms of accuracy and, by orders of magnitude, in terms of speed.

研究动机与目标

• 解决 ARMA 模型阶数识别的挑战，这是时间序列分析中关键但非显而易见的步骤。
• 克服传统基于似然的方法（如 AIC、BIC）的局限性，这些方法计算成本高，且在复杂或较长时间序列中准确率较低。
• 通过在未经处理的原始时间序列数据上训练，探索深度学习（特别是 CNN）的潜力，无需特征工程。
• 评估模型识别准确率对下游预测性能的影响。
• 证明端到端的深度学习方法在 ARMA 模型选择中，可在速度与准确率上超越经典统计方法。

提出的方法

• 在大规模合成 ARMA 时间序列上训练残差神经网络（ResNet 风格），其真实阶数已知。
• 以原始、中心化并标准化的时间序列作为输入 —— 无需预处理或特征提取（例如，不使用 ACF、PACF 或 ESACF）。
• 训练 CNN 从 100 种组合（p, q ≤ 9）中分类出真实的 AR 和 MA 阶数 (p, q)。
• 使用交叉熵损失优化网络，以最大化正确阶数预测的概率。
• 在长度为 1,000、3,000 和 10,000 的测试集上评估推理速度与准确率。
• 将由 CNN、AIC 和 BIC（完整与逐步搜索）识别出的 ARMA 模型的预测性能进行比较。

实验结果

研究问题

• RQ1 在模拟 ARMA 时间序列上训练的 CNN 是否能在识别正确 ARMA 模型阶数方面优于传统的 AIC 和 BIC？
• RQ2 基于深度学习的模型识别方法的推理速度与基于似然的准则相比如何？
• RQ3 通过 CNN 实现的更优模型阶数识别是否能带来更高的时间序列预测准确率？
• RQ4 该 CNN 方法在不重新训练的情况下，对不同时间序列长度（1,000、3,000、10,000）的鲁棒性如何？
• RQ5 使用原始时间序列作为输入（不进行统计特征提取）对性能的影响有多大？

主要发现

• 在长度为 1,000 的时间序列上，CNN 模型在识别正确 ARMA 阶数 (p, q) 上达到了 92.7% 的准确率，显著高于 AIC（68.9%）和 BIC 完全搜索（66.9%）。
• CNN 的推理速度比完整的 AIC/BIC 搜索快超过 1,000 倍，推理时间在毫秒级别，而后者需数分钟。
• 在所有时间序列长度下，使用 CNN 识别的 ARMA 模型，其预测误差（MAE 和 RMSE）均持续低于 AIC 和 BIC 方法。
• 即使未完全识别出真实阶数，CNN 的模型选择仍能实现接近“Acme”场景（真实阶数）的预测性能，表明其具有高度的实际应用价值。
• CNN 在不同时间序列长度下均保持强劲性能，即使在 p=9 时，MA 阶数的分类准确率仍高于 40%，且在更长序列中性能退化极小。
• 结果表明，对原始时间序列进行端到端的深度学习，可在 ARMA 模型识别中超越经典统计方法，在速度与准确率上均表现更优。