[论文解读] Low-Rank Autoregressive Tensor Completion for Spatiotemporal Traffic Data Imputation

Xinyu Chen, Mengying Lei+2 more|arXiv (Cornell University)|Apr 30, 2021

Tensor decomposition and applications参考文献 28被引用 145

一句话总结

本文提出了一种新型框架——低秩自回归张量补全（LATC），将自回归建模整合到低秩张量补全中，以提升时空交通数据插补的性能。通过采用AR(p)过程建模时间动态，并利用截断核范数进行低秩逼近，LATC能够捕捉全局模式（例如，逐日相似性）和局部时间一致性，在真实世界交通数据集的多种缺失数据场景下，性能优于当前最先进方法。

ABSTRACT

Spatiotemporal traffic time series (e.g., traffic volume/speed) collected from sensing systems are often incomplete with considerable corruption and large amounts of missing values, preventing users from harnessing the full power of the data. Missing data imputation has been a long-standing research topic and critical application for real-world intelligent transportation systems. A widely applied imputation method is low-rank matrix/tensor completion; however, the low-rank assumption only preserves the global structure while ignores the strong local consistency in spatiotemporal data. In this paper, we propose a low-rank autoregressive tensor completion (LATC) framework by introducing extit{temporal variation} as a new regularization term into the completion of a third-order (sensor $ imes$ time of day $ imes$ day) tensor. The third-order tensor structure allows us to better capture the global consistency of traffic data, such as the inherent seasonality and day-to-day similarity. To achieve local consistency, we design the temporal variation by imposing an AR($p$) model for each time series with coefficients as learnable parameters. Different from previous spatial and temporal regularization schemes, the minimization of temporal variation can better characterize temporal generative mechanisms beyond local smoothness, allowing us to deal with more challenging scenarios such "blackout" missing. To solve the optimization problem in LATC, we introduce an alternating minimization scheme that estimates the low-rank tensor and autoregressive coefficients iteratively. We conduct extensive numerical experiments on several real-world traffic data sets, and our results demonstrate the effectiveness of LATC in diverse missing scenarios.

研究动机与目标

• 解决智能交通系统中时空交通数据缺失与损坏的挑战。
• 克服传统低秩矩阵/张量补全方法忽略局部时间一致性和生成动态的局限性。
• 开发一个统一框架，同时建模交通时间序列的全局低秩结构与局部时间依赖性。
• 在包括随机缺失、非随机缺失和黑屏缺失在内的多种缺失数据模式下，实现高精度插补。
• 通过使用截断核范数和可学习的自回归系数，提供一种无需预设秩参数的鲁棒替代方案，替代基于分解的模型。

提出的方法

• 将时空交通数据表示为三阶张量（传感器 × 一天中时间 × 日期），以更好地捕捉逐日相似性和全局结构。
• 使用截断核范数作为低秩逼近方法，避免预先定义秩参数的需求。
• 基于AR(p)模型引入时间变化作为正则化项，其中系数通过数据学习，以建模时间生成机制。
• 构建一个目标函数，结合张量的低秩性（通过截断核范数）和时间变化性（AR预测误差之和）。
• 采用交替最小化算法：使用ADMM进行张量更新，使用闭式最小二乘法估计自回归系数。
• 将时间序列展开为矩阵，并对每个传感器应用AR(p)建模，以在简单平滑性之外实现更强的局部时间一致性。

实验结果

研究问题

• RQ1 将自回归建模整合到低秩张量补全中，能否提升时空交通数据插补的准确性？
• RQ2 所提出的LATC模型在包括随机、非随机和黑屏缺失在内的多种缺失数据模式下表现如何？
• RQ3 通过AR(p)建模时间生成机制，是否能带来优于仅依赖低秩结构或局部平滑性的插补效果？
• RQ4 在真实世界交通数据集上，LATC在MAPE和RMSE指标上与当前最先进矩阵和张量补全方法相比表现如何？
• RQ5 所提出的框架是否不仅能用于插补，还能在存在缺失数据的条件下用于预测？

主要发现

• 在四个真实世界交通数据集上，LATC在所有缺失数据场景下均实现了最低的MAPE和RMSE，优于LAMC、LRTC-TNN、BTMF和SPC。
• 在杭州地铁客流量数据集中，LATC在30%随机缺失情况下实现5.71% MAPE和2.54 RMSE，优于LRTC-TNN（6.99/3.00）和BTMF（7.54/3.27）。
• 在西雅图高速公路速度数据集中，LATC在30%随机缺失情况下实现19.12% MAPE和24.97 RMSE，显著优于SPC（27.46/68.56）和BTMF（25.61/77.00）。
• 在波特兰交通流量数据集上，30%黑屏缺失（窗口长度为4）情况下，LATC实现24.04% MAPE和23.52 RMSE，优于SPC（31.01/60.33）和BTMF（27.85/25.68）。
• LATC在高缺失率（高达90%）下表现出鲁棒性，误差始终低于所有基线模型，尤其在非随机和黑屏场景中表现更优。
• 图5–7的可视化结果表明，即使在严重数据丢失情况下，LATC仍能准确恢复真实的交通模式，从稀疏观测中学习到潜在的时间动态。