[论文解读] Hankel-structured Tensor Robust PCA for Multivariate Traffic Time Series Anomaly Detection

Xudong Wang, Luis Miranda-Moreno+1 more|arXiv (Cornell University)|Oct 8, 2021

Blind Source Separation Techniques参考文献 27被引用 8

一句话总结

本文提出了一种新型基于张量的RPCA方法——Hankel结构张量鲁棒PCA（HT-RPCA），通过应用时间Hankel化以捕捉局部与全局时空相关性，从而提升多变量交通时间序列异常检测性能。通过将低秩矩阵转换为三阶Hankel张量，并利用ADMM求解张量核范数（TNN）与l1-范数最小化，该方法在减少误报的同时实现了优于传统RPCA和RPCA-TV模型的异常检测准确率。

ABSTRACT

Spatiotemporal traffic data (e.g., link speed/flow) collected from sensor networks can be organized as multivariate time series with additional spatial attributes. A crucial task in analyzing such data is to identify and detect anomalous observations and events from the data with complex spatial and temporal dependencies. Robust Principal Component Analysis (RPCA) is a widely used tool for anomaly detection. However, the traditional RPCA purely relies on the global low-rank assumption while ignoring the local temporal correlations. In light of this, this study proposes a Hankel-structured tensor version of RPCA for anomaly detection in spatiotemporal data. We treat the raw data with anomalies as a multivariate time series matrix (location $ imes$ time) and assume the denoised matrix has a low-rank structure. Then we transform the low-rank matrix to a third-order tensor by applying temporal Hankelization. In the end, we decompose the corrupted matrix into a low-rank Hankel tensor and a sparse matrix. With the Hankelization operation, the model can simultaneously capture the global and local spatiotemporal correlations and exhibit more robust performance. We formulate the problem as an optimization problem and use tensor nuclear norm (TNN) to approximate the tensor rank and $l_1$ norm to approximate the sparsity. We develop an efficient solution algorithm based on the Alternating Direction Method of Multipliers (ADMM). Despite having three hyper-parameters, the model is easy to set in practice. We evaluate the proposed method by synthetic data and metro passenger flow time series and the results demonstrate the accuracy of anomaly detection.

研究动机与目标

• 为解决传统RPCA在捕捉多变量交通时间序列中局部时间相关性方面的局限性。
• 通过结合全局低秩结构与局部时间依赖性，提升异常检测的鲁棒性。
• 构建一种基于张量的框架，利用Hankel化将时间延迟结构嵌入时空数据中。
• 通过ADMM实现高效、可扩展的优化方案，且仅需极少的超参数调优。
• 在合成数据与来自中国广州的真实地铁客流数据上验证该方法。

提出的方法

• 通过时间Hankel化将原始多变量交通矩阵（N个地点 × T个时间步）转换为Hankel张量，构建三阶张量以增强时间相关性建模。
• 将异常检测问题建模为张量优化问题：最小化张量核范数（TNN）以获得低秩结构，同时最小化残差矩阵中的l1-范数以实现稀疏性。
• 使用交替方向乘子法（ADMM）高效求解非凸优化问题，通过交替更新低秩张量与稀疏矩阵分量。
• 提出改进版本HT-RMC，通过将框架扩展至鲁棒张量补全，以处理含缺失值的数据。
• 引入Hankel化算子Hτ及其逆算子Hτ⁻¹，从张量重建原始矩阵，保持时间连续性。
• 采用TNN作为张量秩的凸近似，l1-范数作为稀疏性的近似，实现在低秩与稀疏假设下的可计算优化。

实验结果

研究问题

• RQ1 Hankel结构张量RPCA是否能通过捕捉交通时间序列中的全局与局部时空相关性，提升异常检测性能？
• RQ2 在真实地铁客流数据中，所提出的HT-RPCA模型相较于传统RPCA与带总变差正则化的RPCA（RPCA-TV）在异常检测方面表现如何？
• RQ3 Hankel化过程在多大程度上增强了模型检测多变量交通数据中周期性与瞬态异常的能力？
• RQ4 HT-RPCA模型对噪声与缺失数据的鲁棒性如何？是否能在极少超参数调优下保持高检测准确率？
• RQ5 该模型能否有效揭示地铁网络中异常的传播模式，指示潜在因果关系或级联效应？

主要发现

• 所提出的HT-RPCA模型在真实地铁客流数据中检测到了几乎所有异常，仅有一例微小异常（7月26日23:45，4名乘客）因信号幅值过低而漏检。
• 与RPCA和RPCA-TV相比，HT-RPCA生成的异常轮廓更加平滑稳定，表明误报更少，鲁棒性更强。
• 该模型成功捕捉了客流中的周期性日模式，并能检测出显著偏离这些模式的异常。
• 异常传播分析揭示了从JNX与XMK站开始的级联效应，上游站点表现出早期异常上升，下游站点则出现延迟异常，与现实中的干扰动态一致。
• HT-RPCA在合成数据与真实广州地铁数据上均表现出优越性能，检测准确率与稳定性均优于基线RPCA与RPCA-TV。
• 该模型对参数变化具有鲁棒性，仅需三个超参数，调优极少，具备实际部署的可行性。