[论文解读] Fast, Accurate, and Scalable Method for Sparse Coupled Matrix-Tensor Factorization

Dongjin Choi, Jun-Gi Jang+1 more|arXiv (Cornell University)|Aug 29, 2017

Tensor decomposition and applications参考文献 22被引用 6

一句话总结

本文提出 $S^{3}$ CMTF，一种基于无锁并行随机梯度下降（SGD）和中间数据重用的快速、准确且可扩展的稀疏耦合矩阵-张量分解方法。在真实世界数据上，其速度比现有方法快 11–43×，误差低 2.1–4.1×，且在数据规模和核心数量上均表现出线性可扩展性。

ABSTRACT

How can we capture the hidden properties from a tensor and a matrix data simultaneously in a fast, accurate, and scalable way? Coupled matrix-tensor factorization (CMTF) is a major tool to extract latent factors from a tensor and matrices at once. Designing an accurate and efficient CMTF method has become more crucial as the size and dimension of real-world data are growing explosively. However, existing methods for CMTF suffer from lack of accuracy, slow running time, and limited scalability. In this paper, we propose S3CMTF, a fast, accurate, and scalable CMTF method. S3CMTF achieves high speed by exploiting the sparsity of real-world tensors, and high accuracy by capturing inter-relations between factors. Also, S3CMTF accomplishes additional speed-up by lock-free parallel SGD update for multi-core shared memory systems. We present two methods, S3CMTF-naive and S3CMTF-opt. S3CMTF-naive is a basic version of S3CMTF, and S3CMTF-opt improves its speed by exploiting intermediate data. We theoretically and empirically show that S3CMTF is the fastest, outperforming existing methods. Experimental results show that S3CMTF is 11~43 times faster, and 2.1~4.1 times more accurate than existing methods. S3CMTF shows linear scalability on the number of data entries and the number of cores. In addition, we apply S3CMTF to Yelp recommendation tensor data coupled with 3 additional matrices to discover interesting properties.

研究动机与目标

• 解决在稀疏真实世界数据上耦合矩阵-张量分解（CMTF）缺乏快速、准确且可扩展方法的问题。
• 克服现有 CMTF 方法的局限性，包括收敛缓慢、因模型容量有限导致的准确性差以及内存占用高。
• 通过利用稀疏性和因子间关系，实现张量与矩阵的高效联合分解。
• 在数据规模和并行核心数量上均实现线性可扩展性，以支持大规模真实世界数据集的处理。

提出的方法

• 提出 $S^{3}$ CMTF，一种基于随机梯度下降（SGD）的 CMTF 方法，通过利用真实世界张量中的稀疏性来降低计算成本。
• 实现无锁并行 SGD 更新，以支持高效的多核共享内存执行，提升训练速度。
• 提出两种变体：$S^{3}$ CMTF-naive（基础版本）和 $S^{3}$ CMTF-opt（优化版本），后者通过重用中间计算结果获得性能提升。
• 利用耦合矩阵（如用户好友关系、业务类别、城市位置）作为先验知识，以增强分解的准确性和模型容量。
• 采用非负分解并结合投影梯度下降，以提高可解释性并保持因子矩阵的非负性。
• 将 Tucker 分解作为基线方法，用于聚类和可解释性分析。

实验结果

研究问题

• RQ1 能否在稀疏、高维的真实世界数据上，使 CMTF 方法在保持快速运行时间与线性可扩展性的同时实现高精度？
• RQ2 在耦合张量-矩阵框架中引入因子间关系，如何提升模型容量与预测精度？
• RQ3 无锁并行 SGD 配合中间数据重用，在 CMTF 中在多大程度上提升了计算效率？
• RQ4 $S^{3}$ CMTF 是否能有效发现有意义的聚类，并在 Yelp 等真实世界数据集中支持个性化推荐？
• RQ5 在时间、准确性、内存使用和可并行化方面，$S^{3}$ CMTF 与现有 CMTF 方法相比表现如何？

主要发现

• $S^{3}$ CMTF 在真实世界数据集（包括 MovieLens、Netflix 和 Yelp）上的训练速度比现有 CMTF 方法快 11–43×。
• 与最先进方法相比，该方法将测试 RMSE 降低了 2.1–4.1×，表现出更优的准确性。
• $S^{3}$ CMTF-opt 展现出最佳的收敛速度和准确性，显著优于 $S^{3}$ CMTF-naive 及其他基线方法。
• 该方法在数据条目数量和并行核心数量上均表现出线性可扩展性，支持高效的大规模部署。
• 在 Yelp 数据集上，$S^{3}$ CMTF 的聚类能力优于 Tucker 分解，表现为业务实体聚类的轮廓统计量更高。
• 该方法成功识别出用户特定的潜在概念（如“水疗与健康” vs. “烧烤与餐厅”），并能基于用户档案和时空因素实现个性化推荐。