[论文解读] Decomposition of Big Tensors With Low Multilinear Rank

Guoxu Zhou, Andrzej Cichocki+1 more|arXiv (Cornell University)|Dec 5, 2014

Tensor decomposition and applications参考文献 11被引用 38

一句话总结

该论文提出了一种可扩展的框架，通过利用Tucker压缩实现对低多线性秩大张量的高效分解，支持高效的CP和Tucker分解。该框架引入了FFCP算法，利用Tucker紧凑表示实现快速CP分解；并提出RandTucker2i算法，实现分布式、随机化的Tucker分解，在大规模张量（如11.7 GB的5阶视频数据）上实现高精度与高效率，拟合损失极小，处理时间在小型计算集群上低于1分钟。

ABSTRACT

Tensor decompositions are promising tools for big data analytics as they bring multiple modes and aspects of data to a unified framework, which allows us to discover complex internal structures and correlations of data. Unfortunately most existing approaches are not designed to meet the major challenges posed by big data analytics. This paper attempts to improve the scalability of tensor decompositions and provides two contributions: A flexible and fast algorithm for the CP decomposition (FFCP) of tensors based on their Tucker compression; A distributed randomized Tucker decomposition approach for arbitrarily big tensors but with relatively low multilinear rank. These two algorithms can deal with huge tensors, even if they are dense. Extensive simulations provide empirical evidence of the validity and efficiency of the proposed algorithms.

研究动机与目标

• 解决现有张量分解方法在大数据分析中可扩展性受限的问题。
• 克服传统CP和Tucker分解在大规模张量上因病态性与计算不可行性带来的挑战。
• 构建一个统一框架，实现对任意大尺寸、低多线性秩张量的高效、可扩展分解。
• 实现对密集、高阶张量（如视频数据）的实际分解，其规模超出标准算法的内存与计算能力限制。
• 提供一种鲁棒的分布式张量分解解决方案，在降低计算成本的同时保持高精度。

提出的方法

• 使用Tucker分解将原始大张量压缩为紧凑的核心张量与因子矩阵，降低维度的同时保持多线性结构。
• 应用FFCP算法对Tucker压缩后的张量执行快速、灵活的CP分解，提升计算速度与稳定性。
• 实现一种分布式随机Tucker分解（RandTucker2i），通过采样纤维或元素构建低秩近似，实现高效计算。
• 在分布式环境下利用随机SVD与Khatri-Rao积技术，加速核心张量的计算。
• 在FFCP中引入非负性约束，实现基于部件的、可解释的表示，适用于图像聚类等应用。
• 利用Tucker表示作为预处理步骤，使原本无法直接处理的超大张量也能实现可扩展的CP与Tucker分解。

实验结果

研究问题

• RQ1 Tucker压缩能否实现对超大张量的可扩展且高精度的CP分解，即使这些张量大到无法直接处理？
• RQ2 在大规模张量数据上，随机化Tucker分解的拟合度与精度与确定性方法相比如何？
• RQ3 能否有效利用分布式计算对密集、高阶张量（如视频数据）进行分解，同时保持极低的保真度损失？
• RQ4 与标准CPD方法相比，FFCP算法是否在显著降低计算时间的同时仍保持高精度？
• RQ5 所提出的框架在多大程度上能处理真实世界的大数据，如具有超过十亿个元素的5阶视频张量？

主要发现

• FFCP算法在COIL-100数据集上达到71.3%的聚类准确率，优于标准CP-ALS与RandTucker2i。
• RandTucker2i在1.6×10^9个元素的5阶UCF Sports视频张量上实现了72.3%的拟合度，耗时104秒，证明其在密集大规模数据上的可扩展性。
• FFCP算法在3台节点集群上对1亿个元素的张量完成CP分解仅耗时7.5秒（非负约束下为7秒），展现出极高的效率。
• 利用A^(5)因子矩阵提取的特征，在UCF Sports数据集上实现了58%的聚类准确率，验证了该方法在真实应用中的有效性。
• 随机化方法与确定性方法之间未观察到显著性能下降，证实了RandTucker2i在大规模问题上的可靠性。
• 该框架成功分解了一个11.7 GB、5阶的视频张量，而CP-ALS在处理40段视频时因内存不足而崩溃，充分证明了其可扩展性。