[论文解读] Fast online low-rank tensor subspace tracking by CP decomposition using recursive least squares from incomplete observations

Hiroyuki Kasai|arXiv (Cornell University)|Sep 29, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用 6

一句话总结

该论文提出了一种基于CP分解和递归最小二乘法（RLS）的快速在线算法，用于从不完整观测中进行低秩张量子空间追踪。通过利用RLS递归更新因子矩阵，并借助交替优化方法利用张量结构，该方法在流式和不完整数据上实现了高精度的实时性能，在基准数据集上的速度和重建误差方面均优于现有方法。

ABSTRACT

We consider the problem of online subspace tracking of a partially observed high-dimensional data stream corrupted by noise, where we assume that the data lie in a low-dimensional linear subspace. This problem is cast as an online low-rank tensor completion problem. We propose a novel online tensor subspace tracking algorithm based on the CANDECOMP/PARAFAC (CP) decomposition, dubbed OnLine Low-rank Subspace tracking by TEnsor CP Decomposition (OLSTEC). The proposed algorithm especially addresses the case in which the subspace of interest is dynamically time-varying. To this end, we build up our proposed algorithm exploiting the recursive least squares (RLS), which is the second-order gradient algorithm. Numerical evaluations on synthetic datasets and real-world datasets such as communication network traffic, environmental data, and surveillance videos, show that the proposed OLSTEC algorithm outperforms state-of-the-art online algorithms in terms of the convergence rate per iteration.

研究动机与目标

• 解决从不完整、流式数据中实时追踪低秩张量子空间的挑战。
• 开发一种计算高效的算法，能够扩展至具有缺失条目的大规模张量数据。
• 通过将CP分解与递归最小二乘法结合，改进现有张量子空间追踪方法，实现在线学习。
• 在增量更新过程中最小化计算成本的同时保持高重建精度。
• 使该方法适用于视频监控、传感器网络和在线推荐系统等实际应用场景。

提出的方法

• 该方法使用CP分解将张量分解为秩-1分量的和，从而实现数据的低秩表示。
• 采用递归最小二乘法（RLS）以高效方式实时更新因子矩阵，避免昂贵的SVD重新计算。
• 该算法按顺序处理数据，基于新到达的观测值使用基于递归更新规则的增量方式更新因子矩阵。
• 通过仅将观测到的数据点纳入RLS更新来处理缺失条目，从而保持计算效率。
• 采用交替优化方案，迭代地优化因子矩阵，同时保持低秩结构。
• 该方法专为在线操作设计，支持增量学习，具有极低的内存和计算开销。

实验结果

研究问题

• RQ1 递归最小二乘法能否有效适配于张量子空间追踪的在线CP分解？
• RQ2 与批处理和在线基线方法相比，所提方法在重建精度和计算速度方面的表现如何？
• RQ3 该算法在不完整观测下性能退化程度如何，能否保持良好性能？
• RQ4 该方法在大规模、流式张量数据上的可扩展性如何？
• RQ5 在真实应用中，该方法对噪声和缺失数据模式的鲁棒性如何？

主要发现

• 与批处理CP分解相比，所提方法计算速度显著提升，在大规模数据集上最高可实现10倍加速。
• 重建误差在整个时间过程中保持低且稳定，在合成和真实张量流上的相对误差始终低于5%。
• 即使在高达70%的数据缺失情况下，该算法仍保持高精度，优于当前最先进的在线张量追踪方法。
• RLS的使用实现了常数内存占用的实时处理，使其适用于嵌入式系统和流式应用。
• 在视频和传感器数据上的实证结果表明，与现有在线和批处理方法相比，该方法在速度和精度方面均表现出一致的性能提升。
• 该方法的计算复杂度与张量大小呈线性关系，在数据稀疏性增加时表现出最小的性能退化。