[论文解读] CDSA: Cross-Dimensional Self-Attention for Multivariate, Geo-tagged Time Series Imputation

Jiawei Ma, Zheng Shou+4 more|arXiv (Cornell University)|May 23, 2019

Time Series Analysis and Forecasting参考文献 35被引用 39

一句话总结

提出跨维自注意力（CDSA）通过在时间、位置和测量维度上建模注意力来填补多变量地理标注时间序列中的缺失值；在多个数据集上优于最先进的插补与预测方法。

ABSTRACT

Many real-world applications involve multivariate, geo-tagged time series data: at each location, multiple sensors record corresponding measurements. For example, air quality monitoring system records PM2.5, CO, etc. The resulting time-series data often has missing values due to device outages or communication errors. In order to impute the missing values, state-of-the-art methods are built on Recurrent Neural Networks (RNN), which process each time stamp sequentially, prohibiting the direct modeling of the relationship between distant time stamps. Recently, the self-attention mechanism has been proposed for sequence modeling tasks such as machine translation, significantly outperforming RNN because the relationship between each two time stamps can be modeled explicitly. In this paper, we are the first to adapt the self-attention mechanism for multivariate, geo-tagged time series data. In order to jointly capture the self-attention across multiple dimensions, including time, location and the sensor measurements, while maintain low computational complexity, we propose a novel approach called Cross-Dimensional Self-Attention (CDSA) to process each dimension sequentially, yet in an order-independent manner. Our extensive experiments on four real-world datasets, including three standard benchmarks and our newly collected NYC-traffic dataset, demonstrate that our approach outperforms the state-of-the-art imputation and forecasting methods. A detailed systematic analysis confirms the effectiveness of our design choices.

研究动机与目标

• 解决来自不同地点的多传感器在多变量、地理标注时间序列中的缺失数据。
• 利用自注意力来建模时间、空间和测量维度之间的关系。
• 提出 CDSA 以高效捕捉跨维度依赖，避免全联合注意力的复杂性。
• 在真实世界数据集上展示优越的插补和预测性能，相较于基于 RNN 的方法和传统方法。

提出的方法

• 提出三种 CDSA 策略来建模跨维度注意力：Independent（每维度注意力，后续融合）、Joint（全跨维度注意力）、Decomposed（逐维注意力串联）。
• 将输入表示为 X ∈ R^{T×L×M} 并重塑为 X_T、X_L、X_M 以供维度特定流使用；使用注意力图 A_T、A_L、A_M，以及一个分解乘积来形成跨维注意力 A。
• 通过带残差连接和层归一化的 Transformer 编码器（8 层）来填补缺失值；预测使用带编码器-解码器（9 层）的 Transformer。
• 对测量值进行归一化，将缺失项填充为零，并使用 Adam 进行训练，以最小化插补任务的 RMSE。
• 在 NYC-Traffic、KDD-2015、KDD-2018 和 METR-LA 数据集上进行评估，比较对象包括 AR、Kriging、MTSI、BRITS、DCRNN 等。

实验结果

研究问题

• RQ1 自注意力是否能够有效地适应跨时间、地点和测量维度的多变量、地理标注时间序列插补？
• RQ2 哪种建模策略（Independent、Joint、Decomposed）在保持计算可行性的同时能够最好地捕捉跨维度依赖？
• RQ3 基于 CDSA 的模型是否在不同数据集上优于最先进的基于 RNN 的方法和传统插补方法的插补与预测精度？

主要发现

• CDSA 在多个真实世界数据集上优于最先进的方法在插补和预测方面。
• Decomposed CDSA 变体在准确性与计算效率之间取得了最佳权衡，优于 Independent 与 Joint/Shared 配置。
• 在 NYC-Traffic 上，CDSA 的 RMSE 在缺失率从 20% 到 90% 时均低于 AR、Kriging、MTSI、BRITS 和 DCRNN。
• 在 KDD-2015 PM2.5、TEMP 和 HUM 任务上，CDSA 实现了具有竞争力的 MAE/MRE 和更优的跨数据集性能。
• 在 KDD-2018 上，CDSA（Decomposed）在所有报告的缺失率下获得最佳的 MSE。
• 在 METR-LA 预测任务上，CDSA 相对于若干基线改进了长时段预测（60 分钟）。