[论文解读] Fast Matrix Factorization with Non-Uniform Weights on Missing Data

Xiangnan He, Jinhui Tang+4 more|arXiv (Cornell University)|Nov 11, 2018

Recommender Systems and Techniques参考文献 50被引用 8

一句话总结

本文提出了一种快速、高效的矩阵分解方法，支持对缺失数据条目进行非均匀加权，从而在保持效率的同时提升建模保真度。通过结合截断SVD进行权重压缩与记忆化逐元素交替最小二乘法（eALS），该方法仅在观测条目数量上线性增长时间复杂度，显著加速学习过程，同时支持任意加权方案对缺失数据的处理。

ABSTRACT

Matrix factorization (MF) has been widely used to discover the low-rank structure and to predict the missing entries of data matrix. In many real-world learning systems, the data matrix can be very high-dimensional but sparse. This poses an imbalanced learning problem, since the scale of missing entries is usually much larger than that of observed entries, but they cannot be ignored due to the valuable negative signal. For efficiency concern, existing work typically applies a uniform weight on missing entries to allow a fast learning algorithm. However, this simplification will decrease modeling fidelity, resulting in suboptimal performance for downstream applications. In this work, we weight the missing data non-uniformly, and more generically, we allow any weighting strategy on the missing data. To address the efficiency challenge, we propose a fast learning method, for which the time complexity is determined by the number of observed entries in the data matrix, rather than the matrix size. The key idea is two-fold: 1) we apply truncated SVD on the weight matrix to get a more compact representation of the weights, and 2) we learn MF parameters with element-wise alternating least squares (eALS) and memorize the key intermediate variables to avoid repeating computations that are unnecessary. We conduct extensive experiments on two recommendation benchmarks, demonstrating the correctness, efficiency, and effectiveness of our fast eALS method.

研究动机与目标

• 解决矩阵分解中对缺失数据采用均匀加权所导致的建模保真度下降问题，尽管该方法在效率上有所提升。
• 实现对缺失条目的灵活、非均匀加权，以更好地反映现实世界中的负信号模式，例如推荐系统中的流行度偏差。
• 开发一种高效的学习算法，即使在非均匀加权带来额外复杂性的情况下，仍保持较低的时间复杂度。
• 在不牺牲计算效率的前提下，支持对缺失数据的任意加权方案。
• 证明非均匀加权可在保持训练可扩展性的前提下提升推荐系统中的性能。

提出的方法

• 提出逐元素交替最小二乘法（eALS）以优化带条目级权重的矩阵分解，实现对缺失数据贡献的细粒度控制。
• 对权重矩阵应用截断奇异值分解（SVD），以压缩并紧凑表示非均匀权重，降低存储与计算开销。
• 在eALS中对中间变量进行记忆化处理，避免重复计算，确保时间复杂度仅依赖于观测条目数量，而非完整矩阵规模。
• 设计一种快速学习流水线，使优化代价与观测数据量呈线性关系，适用于高维稀疏矩阵。
• 支持对缺失条目任意的加权策略，包括基于行或列、用户特定或流行度感知的方案。
• 整合权重压缩与记忆化技术，在对所有缺失条目使用复杂非均匀权重时仍保持高效性。

实验结果

研究问题

• RQ1 在稀疏推荐系统中，对缺失数据采用非均匀加权能否提升矩阵分解的性能？
• RQ2 在矩阵分解中对缺失数据应用非均匀加权时，是否能够保持计算效率？
• RQ3 所提出的结合权重压缩与记忆化的eALS方法，在速度与准确度方面相较于标准WALS和负采样基线表现如何？
• RQ4 该方法在具有数百万个缺失条目的高维稀疏矩阵上是否具备有效的可扩展性？
• RQ5 该方法是否能在不导致性能下降的前提下，支持复杂、特定应用场景的加权方案（如基于流行度的方案）？

主要发现

• 所提出的快速eALS方法的时间复杂度仅与观测条目数量成正比，即使在超大、稀疏矩阵上也表现出高度效率。
• 实验证明，与均匀加权相比，对缺失数据采用非均匀加权可显著提升推荐任务的性能，结果基于两个公开基准数据集验证。
• 该方法成功支持任意加权方案，包括用户与项目特定的权重，且未牺牲训练速度。
• 对权重矩阵应用截断SVD可减少内存占用并加速计算，使大规模数据上的可扩展学习成为可能。
• 实证结果表明，该方法在预测准确度与收敛稳定性方面均优于均匀加权的WALS和负采样基线方法。
• 该方法是先前工作的泛化形式，包含[28]中方法的一个特例，且可精确恢复面向用户的加权方案。