[论文解读] Learning from Multiway Data: Simple and Efficient Tensor Regression

Rose Yu, Yan Liu|arXiv (Cornell University)|Jul 8, 2016

Tensor decomposition and applications参考文献 26被引用 27

一句话总结

该论文提出了一种名为子采样张量投影梯度（Subsampled Tensor Projected Gradient, TPG）的简单且高效的张量回归算法，通过利用随机化压缩（randomized sketching）和快速张量幂迭代，实现了线性内存增长和固定迭代次数内的收敛。在多线性多任务学习和时空预测任务中，其速度和精度均优于现有方法。

ABSTRACT

Tensor regression has shown to be advantageous in learning tasks with multi-directional relatedness. Given massive multiway data, traditional methods are often too slow to operate on or suffer from memory bottleneck. In this paper, we introduce subsampled tensor projected gradient to solve the problem. Our algorithm is impressively simple and efficient. It is built upon projected gradient method with fast tensor power iterations, leveraging randomized sketching for further acceleration. Theoretical analysis shows that our algorithm converges to the correct solution in fixed number of iterations. The memory requirement grows linearly with the size of the problem. We demonstrate superior empirical performance on both multi-linear multi-task learning and spatio-temporal applications.

研究动机与目标

• 解决传统张量回归方法在大规模多维数据上面临的高计算成本和内存瓶颈问题。
• 克服交替最小二乘法（ALS）和迹范数最小化方法的局限性，后者存在收敛缓慢和次优解的问题。
• 开发一种通用求解器，适用于多种张量回归模型，无需针对特定模型进行推导。
• 在受限等距性（Restricted Isometry Property, RIP）条件下提供理论收敛保证，并实现估计误差与噪声水平的线性缩放关系，具备对噪声的鲁棒性。
• 在真实世界的多线性与时空数据集上，实证验证其在预测精度和运行时间上的优越性能。

提出的方法

• 通过在高阶张量上使用投影梯度下降，将张量回归建模为约束优化问题。
• 利用快速张量幂迭代在投影步骤中计算主导奇异向量，避免完整的奇异值分解（SVD）。
• 引入随机化压缩技术对数据进行子采样，降低计算成本，并实现对大规模数据集的可扩展性。
• 通过模态方向的投影保持正交性约束，将迭代硬阈值法推广至张量形式。
• 利用张量展开和n模态积运算，高效表达回归模型与梯度计算。
• 采用固定迭代次数，且在受限等距性（RIP）条件下保证收敛，与问题规模无关。

实验结果

研究问题

• RQ1 能否设计一种简单且通用的算法，实现张量回归在大规模多维数据上的高效扩展？
• RQ2 与现有方法相比，随机化压缩结合投影梯度下降是否能实现更快的收敛速度和更低的内存占用？
• RQ3 该算法是否能在实现与噪声水平线性缩放的估计误差的同时，保持对噪声的鲁棒性？
• RQ4 在多任务学习和时空预测等真实应用场景中，该算法相较于最先进方法的表现如何？
• RQ5 从真实数据中学习到的张量参数中，能否提取出如大气环流模式等有意义的结构信息？

主要发现

• TPG的运行时间显著快于基线方法：在Foursquare数据集上为37.06秒，在USHCN数据集上为144.43秒，而Greedy方法分别为290.12秒和6786秒。
• TPG在两个数据集上均取得最低的均方根误差（RMSE）：Foursquare为0.3580，USHCN为0.3872，优于OLS、THOSVD、Greedy和ADMM方法。
• 该算法在固定迭代次数内收敛，且在受限等距性（RIP）条件下具备理论保证。
• 估计误差与噪声大小呈线性关系，证实了对观测误差的鲁棒性。
• 从USHCN数据中学习到的空间-时间依赖图揭示了有意义的大气环流模式，如加利福尼亚州和萨尔顿海区域的气流运动。
• TPG的投影步骤与数据无关，支持高效复用，并可在不同张量回归模型间实现通用化。