[论文解读] AdaRNN: Adaptive Learning and Forecasting of Time Series

Yuntao Du, Jindong Wang+5 more|arXiv (Cornell University)|Aug 10, 2021

Time Series Analysis and Forecasting参考文献 56被引用 36

一句话总结

AdaRNN 引入 Temporal Covariate Shift (TCS) 与一个两模块框架（Temporal Distribution Characterization 与 Temporal Distribution Matching）以将 RNNs 适应非平稳时间序列，从而提高分类和回归性能。

ABSTRACT

Time series has wide applications in the real world and is known to be difficult to forecast. Since its statistical properties change over time, its distribution also changes temporally, which will cause severe distribution shift problem to existing methods. However, it remains unexplored to model the time series in the distribution perspective. In this paper, we term this as Temporal Covariate Shift (TCS). This paper proposes Adaptive RNNs (AdaRNN) to tackle the TCS problem by building an adaptive model that generalizes well on the unseen test data. AdaRNN is sequentially composed of two novel algorithms. First, we propose Temporal Distribution Characterization to better characterize the distribution information in the TS. Second, we propose Temporal Distribution Matching to reduce the distribution mismatch in TS to learn the adaptive TS model. AdaRNN is a general framework with flexible distribution distances integrated. Experiments on human activity recognition, air quality prediction, and financial analysis show that AdaRNN outperforms the latest methods by a classification accuracy of 2.6% and significantly reduces the RMSE by 9.0%. We also show that the temporal distribution matching algorithm can be extended in Transformer structure to boost its performance.

研究动机与目标

• 为非平稳时间序列预测建立 Temporal Covariate Shift (TCS) 的形式化定义。
• 将时间序列划分为最大化分布多样性的周期，以捕捉共享知识。
• 通过在发现的不同周期之间匹配分布来学习自适应的基于 RNN 的预测模型。

提出的方法

• 定义 TCS 并提出 AdaRNN，包含两个模块：Temporal Distribution Characterization (TDC) 与 Temporal Distribution Matching (TDM)。
• TDC 通过最大化区间间分布距离（最大熵原理）将序列分成 K 个时期。
• TDM 通过最小化预测损失以及对 RNN 隐藏状态施加的跨周期分布匹配正则项来学习预测模型。
• 引入基于提升的方案以适配每个状态的重要性权重（alpha）用于分布匹配。
• 在距离度量（如余弦、MMD、对抗）和 RNN 变体（GRU/LSTM）方面提供灵活性。
• 提供一个端到端的训练算法（AdaRNN），交替进行周期发现与网络参数及状态重要性共同优化。

实验结果

研究问题

• RQ1 如何在时间上变化的分布（TCS）下对时间序列进行建模以实现鲁棒预测？
• RQ2 我们能否自动发现具有最大分布多样性的时期以捕捉跨时间的共享知识？
• RQ3 跨已发现时期的分布匹配是否能提升基于 RNN 的模型的预测泛化能力？

主要发现

方法	ACC	P	R	F1	AUC
LightGBM	84.11	83.73	83.63	84.91	90.23
GRU	85.68	85.62	85.51	85.46	91.33
MMD-RNN	86.39	86.80	86.26	86.38	91.77
DANN-RNN	85.88	85.59	85.62	85.56	91.41
AdaRNN	88.44	88.71	88.59	88.63	93.19

• 在非平稳时间序列设置下，AdaRNN 在分类和回归任务上优于最先进的基线。
• 在 UCI 活动识别任务中，AdaRNN 比最佳基线 DANN-RNN 的准确率高出 2.56%，F1 提升 3.07%。
• 在空气质量和用电预测方面，AdaRNN 在各站点和数据集上实现了显著的 RMSE/MAE 下降（研究中有报告）。
• 时序分布匹配模块可以扩展到 Transformer 架构以获得进一步提升。
• AdaRNN 对底层 RNN（普通 RNN、LSTM、GRU）和分布距离（余弦、MMD、对抗）无关。