[论文解读] Empirical Evaluation of Four Tensor Decomposition Algorithms

Peter D. Turney|ArXiv.org|Nov 13, 2007

Tensor decomposition and applications参考文献 24被引用 31

一句话总结

该论文在合成和真实世界张量上，对四种张量分解算法——HO-SVD、HOOI、SP 和 MP——在时间、内存和重构精度方面进行了实证评估。HOOI 的拟合度最高，但由于内存使用量高，仅适用于小规模张量；而 MP 在大规模张量上表现出最佳权衡，因此在可扩展性至关重要的场景下更具优势。

ABSTRACT

Higher-order tensor decompositions are analogous to the familiar Singular Value Decomposition (SVD), but they transcend the limitations of matrices (second-order tensors). SVD is a powerful tool that has achieved impressive results in information retrieval, collaborative filtering, computational linguistics, computational vision, and other fields. However, SVD is limited to two-dimensional arrays of data (two modes), and many potential applications have three or more modes, which require higher-order tensor decompositions. This paper evaluates four algorithms for higher-order tensor decomposition: Higher-Order Singular Value Decomposition (HO-SVD), Higher-Order Orthogonal Iteration (HOOI), Slice Projection (SP), and Multislice Projection (MP). We measure the time (elapsed run time), space (RAM and disk space requirements), and fit (tensor reconstruction accuracy) of the four algorithms, under a variety of conditions. We find that standard implementations of HO-SVD and HOOI do not scale up to larger tensors, due to increasing RAM requirements. We recommend HOOI for tensors that are small enough for the available RAM and MP for larger tensors.

研究动机与目标

• 评估四种高阶张量分解算法（HO-SVD、HOOI、SP 和 MP）在可扩展性与性能之间的权衡。
• 评估时间、内存（RAM 和磁盘）以及重构拟合度如何随张量大小和结构变化。
• 确定每种算法在真实世界应用中大规模张量分解的适用性。
• 通过在真实计算语言学数据集上测试，验证使用随机张量进行性能评估的有效性。
• 根据时间、内存和精度等应用特定约束，提供算法选择的实际建议。

提出的方法

• 使用合成的稀疏三阶和四阶张量，评估了四种张量分解算法：HO-SVD、HOOI、SP 和 MP。
• HO-SVD 和 HOOI 使用标准 MATLAB 张量工具箱实现；SP 和 MP 在 MATLAB 中从零开始实现。
• 测量了不同张量大小和核心比下的运行时间、RAM 和磁盘空间使用量，以及张量重构拟合度（类似 R² 的度量）。
• 在随机稀疏张量上进行实验，以评估缩放行为、对核心尺寸不平衡的敏感性，以及输入与核心尺寸比的变化影响。
• 在真实世界计算语言学张量（391×849×1020）上验证了结果，该张量基于词义相似性模式和 TOEFL 数据构建。
• 使用 TOEFL 词义相似性任务表现作为真实世界指标，以关联拟合质量与下游应用的成功。

实验结果

研究问题

• RQ1 随着张量规模增大，四种张量分解算法（HO-SVD、HOOI、SP、MP）在时间、内存和重构拟合度方面的扩展特性如何？
• RQ2 每种算法的拟合度对核心张量维度不平衡的敏感性如何，特别是在稀疏高阶张量中？
• RQ3 在真实世界计算语言学数据集上，随机张量上观察到的性能排名是否依然成立？
• RQ4 张量分解的重构拟合度能否预测其在下游应用（如词义相似性预测）中的有效性？
• RQ5 在大规模张量分解中，拟合度、速度和内存使用之间的实际权衡是什么，如何指导算法选择？

主要发现

• HOOI 实现了最高的重构拟合度（22.597），但需要 5.77 GiB 内存，且受限于最大 1000³ 的张量规模，因内存限制无法扩展。
• MP 实现了第二高的拟合度（22.371），并可扩展至 2000³ 张量，仅使用 4.34 GiB 内存，适用于更大规模数据集。
• SP 在低内存使用量（4.33 GiB）下实现了 22.321 的拟合度，但对核心尺寸比例失衡极为敏感，尤其在稀疏张量中。
• HO-SVD 的拟合度最低（21.716），且被所有其他算法超越，其在速度或内存方面均无显著优势。
• 在真实 TOEFL 数据集上，HOOI 实现了最高任务准确率（83.75%），其次为 MP 和 SP（81.25%），而 HO-SVD 仅得 80.00%。
• 未经分解的原始张量在 TOEFL 任务上得分为 67.50%，证实张量分解可提升性能，并验证了先前实验中使用随机张量的合理性。