[论文解读] Grassmannian Optimization for Online Tensor Completion and Tracking in the t-SVD Algebra.

Kyle Gilman, Laura Balzano|arXiv (Cornell University)|Jan 30, 2020

Tensor decomposition and applications参考文献 46被引用 6

一句话总结

本文提出 TOUCAN，一种基于 t-SVD 代数框架内 Grassmann 流形优化的流式算法，用于在线张量补全与追踪。通过在 Grassmann 流形上采用增量梯度下降，该算法实现了线性复杂度和恒定内存占用，能够高效地从高度不完整的二维流数据中恢复低管秩张量，在有限采样条件下于时间性化学传感和 MRI 数据上均取得成功。

ABSTRACT

We propose a new streaming algorithm, called TOUCAN, for the tensor completion problem of imputing missing entries of a low-tubal-rank tensor using the recently proposed tensor-tensor product (t-product) and tensor singular value decomposition (t-SVD) algebraic framework. We also demonstrate TOUCAN's ability to track changing free submodules from highly incomplete streaming 2-D data. TOUCAN uses principles from incremental gradient descent on the Grassmann manifold of subspaces to solve the tensor completion problem with linear complexity and constant memory in the number of time samples. We compare our results to state-of-the-art tensor completion algorithms in real applications to recover temporal chemo-sensing data and MRI data under limited sampling.

研究动机与目标

• 解决在流式环境下，对具有缺失条目的低管秩张量进行补全的挑战。
• 实现实时追踪高度不完整的二维数据流中随时间演化的子模块。
• 开发一种计算复杂度与时间样本数量呈线性关系、内存占用恒定的方法。
• 在有限采样条件下，提升真实世界时间性化学传感和 MRI 数据的张量补全性能。

提出的方法

• TOUCAN 采用在 Grassmann 流形上的增量梯度下降，以优化低秩张量逼近。
• 其在 t-SVD 代数框架内运行，利用张量-张量积（t-product）执行张量运算。
• 通过顺序处理数据而不存储历史张量，该算法保持恒定的内存占用。
• 它利用张量奇异值分解（t-SVD）高效计算低管秩逼近。
• Grassmann 流形优化确保了在线学习过程中子空间更新的稳定性。
• 通过避免在每一步骤中重新计算完整张量，该方法实现了线性时间复杂度。

实验结果

研究问题

• RQ1 在 Grassmann 流形上进行增量优化是否能够实现具有恒定内存占用的高效在线张量补全？
• RQ2 该算法在高缺失率的流式二维数据中追踪变化子模块的性能如何？
• RQ3 与最先进张量补全方法相比，TOUCAN 在真实时间数据上的表现如何？
• RQ4 t-SVD 框架是否能够支持流式场景下可扩展且准确的张量补全？

主要发现

• TOUCAN 实现了线性计算复杂度与恒定内存占用，随时间样本数量的增加而高效扩展。
• 该算法成功从高度不完整的观测中恢复了时间性化学传感数据，且精度优于最先进方法。
• 即使在严重采样限制下，其在追踪流式二维数据中动态子模块方面也表现出稳健性能。
• 在有限采样条件下，该方法在 MRI 数据恢复方面优于现有方法。