[论文解读] DFacTo: Distributed Factorization of Tensors

Joon Hee Choi, S. V. N. Vishwanathan|arXiv (Cornell University)|Jun 17, 2014

Tensor decomposition and applications参考文献 13被引用 80

一句话总结

DFacTo 是一种分布式张量分解算法，通过利用两次稀疏矩阵-向量乘法高效计算柯蒂斯-罗伯特积（Khatri-Rao product），避免了中间数据膨胀问题，从而加速了交替最小二乘法（ALS）和梯度下降法（GD）。在 4 台机器上处理一个 6.5M×2.5M×1.5M 的张量（含 12 亿个非零元素）时，DFacTo 实现了 4–10 倍的速度提升，单次 ALS 迭代耗时 480 秒，单次 GD 迭代耗时 1,143 秒。

ABSTRACT

We present a technique for significantly speeding up Alternating Least Squares (ALS) and Gradient Descent (GD), two widely used algorithms for tensor factorization. By exploiting properties of the Khatri-Rao product, we show how to efficiently address a computationally challenging sub-step of both algorithms. Our algorithm, DFacTo, only requires two sparse matrix-vector products and is easy to parallelize. DFacTo is not only scalable but also on average 4 to 10 times faster than competing algorithms on a variety of datasets. For instance, DFacTo only takes 480 seconds on 4 machines to perform one iteration of the ALS algorithm and 1,143 seconds to perform one iteration of the GD algorithm on a 6.5 million x 2.5 million x 1.5 million dimensional tensor with 1.2 billion non-zero entries.

研究动机与目标

• 解决 ALS 和 GD 等张量分解算法中的中间数据膨胀问题。
• 实现在大规模稀疏张量上的可扩展、分布式张量分解计算。
• 设计一种避免昂贵中间表示形式但保持高性能的方法。
• 提供一种与标准稀疏线性代数库兼容的实用且可并行化的解决方案。
• 在真实世界数据集上，性能和可扩展性优于现有的工具（如 Tensor Toolbox 和 GigaTensor）。

提出的方法

• DFacTo 将 ALS 和 GD 中的关键计算步骤（涉及柯蒂斯-罗伯特积的乘法）重新表述为两次稀疏矩阵-向量乘法。
• 利用柯蒂斯-罗伯特积的性质，避免显式构造大型中间矩阵。
• 该算法天然可分布于多台机器，支持水平扩展。
• 使用标准稀疏线性代数操作，确保与现有高性能库的兼容性。
• 该方法对 ALS 和 GD 优化策略支持良好，仅需极少的算法修改。
• 通过避免使用密集张量表示形式，直接操作稀疏数据结构，保持了数值稳定性。

实验结果

研究问题

• RQ1 是否可以在不生成大型中间矩阵的前提下，加速张量分解中柯蒂斯-罗伯特积的计算？
• RQ2 如何使张量分解算法在大规模稀疏张量上既可扩展又高效？
• RQ3 与传统的密集矩阵或中间矩阵方法相比，使用稀疏矩阵-向量运算能带来多大的性能提升？
• RQ4 在包含数十亿个非零元素的真实数据集上，张量分解的分布式实现能否实现显著的速度提升？
• RQ5 与现有的工具（如 Tensor Toolbox 和 GigaTensor）相比，DFacTo 在性能和内存使用方面表现如何？

主要发现

• 在 4 台机器上，DFacTo 将一个 6.5M×2.5M×1.5M 的张量（含 12 亿个非零元素）的单次 ALS 迭代时间缩短至 480 秒。
• 在相同张量上，DFacTo 的单次 GD 迭代耗时 1,143 秒，展现出优异的可扩展性。
• 在多种数据集上，DFacTo 的 ALS 速度比 GigaTensor 快 5 倍，比 Tensor Toolbox 快 10 倍。
• 在 GD 任务中，DFacTo 相较于 Tensor Toolbox 中的 CP-OPT 实现了 4 倍的速度提升。
• 由于存储三个展平矩阵，DFacTo 的内存使用量比 Tensor Toolbox 高约 3 倍，但这一开销被其卓越的计算效率所抵消。
• 实验结果表明，使用 DFacTo 的联合矩阵补全与张量分解模型在所有数据集上的均方误差均低于仅使用矩阵补全的方法。