[论文解读] Scale-Aware Neural Architecture Search for Multivariate Time Series Forecasting

Donghui Chen, Ling Chen+4 more|arXiv (Cornell University)|Dec 14, 2021

Time Series Analysis and Forecasting被引用 5

一句话总结

该论文提出 SNAS4MTF，一种用于多变量时间序列预测的尺度感知神经架构搜索框架。该框架将时间序列分解为多尺度子序列，并利用自适应图学习在每个尺度上发现不同的变量间依赖关系。该方法联合优化多尺度分解、动态依赖建模与神经架构搜索，在真实世界数据集上实现了最先进性能，并在多种场景下展现出更优的泛化能力。

ABSTRACT

Multivariate time series (MTS) forecasting has attracted much attention in many intelligent applications. It is not a trivial task, as we need to consider both intra-variable dependencies and inter-variable dependencies. However, existing works are designed for specific scenarios, and require much domain knowledge and expert efforts, which is difficult to transfer between different scenarios. In this paper, we propose a scale-aware neural architecture search framework for MTS forecasting (SNAS4MTF). A multi-scale decomposition module transforms raw time series into multi-scale sub-series, which can preserve multi-scale temporal patterns. An adaptive graph learning module infers the different inter-variable dependencies under different time scales without any prior knowledge. For MTS forecasting, a search space is designed to capture both intra-variable dependencies and inter-variable dependencies at each time scale. The multi-scale decomposition, adaptive graph learning, and neural architecture search modules are jointly learned in an end-to-end framework. Extensive experiments on two real-world datasets demonstrate that SNAS4MTF achieves a promising performance compared with the state-of-the-art methods.

研究动机与目标

• 为解决设计可迁移、场景特定的多变量时间序列（MTS）预测神经架构的挑战。
• 在多个时间尺度上有效建模变量内与变量间依赖关系。
• 通过神经架构搜索自动化架构发现，消除对手动设计架构与领域特定先验知识的依赖。
• 设计一个捕捉多尺度时间动态与尺度特定变量间关系的搜索空间。
• 实现分解、依赖建模与架构搜索的端到端联合学习，以提升预测精度。

提出的方法

• 一个多尺度分解模块将原始 MTS 拆分为不同时间尺度的子序列，以保留尺度特定的模式。
• 一个自适应图学习模块在无需先验知识或固定邻接矩阵的情况下，动态推断每个时间尺度的变量间依赖关系。
• 设计了一个自定义搜索空间，用于在每个尺度上选择最优操作以建模变量内与变量间依赖关系。
• 在多个尺度上执行端到端的神经架构搜索，联合优化分解、图学习与架构选择。
• 为每个尺度使用不同的操作池（例如卷积、注意力、GCN），并通过搜索选择最佳组合。
• 采用可微搜索策略进行端到端训练，实现高效的架构发现。

实验结果

研究问题

• RQ1 神经架构搜索框架能否有效学习多变量时间序列中的尺度特定变量间依赖关系？
• RQ2 多尺度分解在 MTS 预测中如何改善时间模式的建模？
• RQ3 自适应图学习能否替代固定或预定义的邻接矩阵以捕捉动态变量间关系？
• RQ4 分解、图学习与架构搜索的端到端联合优化是否优于手工设计或固定架构模型？
• RQ5 不同数据集上的搜索结果如何变化？它们揭示了哪些关于尺度特定依赖关系的信息？

主要发现

• SNAS4MTF 在 METR-LA 和 PEMS-BAY 数据集上均达到最先进性能，在所有预测时长下，MAE、MAPE 和 RMSE 均优于现有 SOTA 方法。
• 在 METR-LA 上，SNAS4MTF 实现了 15 分钟预测的 MAE 为 2.68，30 分钟 MAE 为 3.03，60 分钟 MAE 为 3.43，误差低于基线模型。
• 在 PEMS-BAY 上，SNAS4MTF 实现了 15 分钟预测的 MAE 为 1.30，30 分钟 MAE 为 1.61，60 分钟 MAE 为 1.89，展现出强大的泛化能力。
• 消融实验表明，移除注意力或卷积模块会导致性能下降，证实了其在搜索架构中的重要性。
• 案例研究显示，不同尺度与数据集的搜索架构存在显著差异——例如，PEMS-BAY 偏好使用 GCN 操作，而 METR-LA 则使用更多零操作——表明具备尺度感知适应能力。
• 超参数分析显示，在隐藏维度为 32 和节点嵌入维度为 20 时达到最优性能，更高值则出现过拟合。