[论文解读] Collaborative Filtering via High-Dimensional Regression

Harald Steck|arXiv (Cornell University)|Apr 30, 2019

Recommender Systems and Techniques参考文献 27被引用 12

一句话总结

本文提出了一种计算高效的协同过滤方法，基于高维岭回归并采用闭式解，替代了计算成本高昂的Slim优化。通过去除L1正则化和非负性约束，同时使用重缩放处理流行度偏差，该方法在三个数据集上实现了显著更快的训练速度和最先进的排序准确率，甚至在个性化推荐中优于深度自编码器。

ABSTRACT

While the SLIM approach obtained high ranking-accuracy in many experiments in the literature, it is also known for its high computational cost of learning its parameters from data. For this reason, we focus in this paper on variants of high-dimensional regression problems that have closed-form solutions. Moreover, we motivate a re-scaling rather than a re-weighting approach for dealing with biases regarding item-popularities in the data. We also discuss properties of the sparse solution, and outline a computationally efficient approximation. In experiments on three publicly available data sets, we observed not only extremely reduced training times, but also significantly improved ranking accuracy compared to SLIM. Surprisingly, various state-of-the-art models, including deep non-linear autoencoders, were also outperformed on two of the three data sets in our experiments, in particular for recommendations with highly personalized relevance.

研究动机与目标

• 开发一种计算高效的Slim协同过滤模型替代方案，该模型虽准确率高但训练成本昂贵。
• 探究从Slim中移除L1正则化和非负性约束是否能提升排序准确率，同时实现闭式解。
• 探索使用重缩放而非重新加权来处理协同过滤中的项目流行度偏差。
• 评估稀疏性在协同过滤中的真实作用——其是否提升准确率，还是主要降低计算成本。
• 建立学习到的权重矩阵作为概念上正确的项目-项目相似度矩阵的理论基础，即数据矩阵的逆。

提出的方法

• 该方法使用带Frobenius范数正则化的岭回归，通过闭式解 $\hat{B} = (X^T X + \lambda I)^{-1} X^T Y$ 求解项目-项目权重矩阵 $\hat{B}$。
• 它用L2正则化替代Slim的L1正则化和非负性约束，以实现闭式计算并加快训练速度。
• 通过重缩放目标值 $Y$ 而非重新加权误差来处理流行度偏差，从而保持模型可解释性和性能。
• 引入基于分块阈值化和 $\hat{B}$ 上的稀疏性约束的稀疏近似，实现在保持准确率的同时实现高效推理。
• 该方法将学习到的 $\hat{B}$ 解释为相似度矩阵，理论上正确的形式是项目-项目共现矩阵 $X^T X$ 的逆。
• 提出一种近似训练方法，通过在二值交互数据的随机划分上使用期望值，实现对 $X^T X$ 和 $X^T Y$ 的高效估计。

实验结果

研究问题

• RQ1 闭式岭回归模型是否能在显著降低训练时间的同时，优于Slim的排序准确率？
• RQ2 从Slim中移除L1正则化和非负性约束是否能提升性能，尽管模型复杂度增加？
• RQ3 与重新加权相比，重缩放目标值是否是处理协同过滤中项目流行度偏差的更有效方法？
• RQ4 稀疏性在协同过滤中的真实作用是什么——它是否提升准确率，还是主要降低计算成本？
• RQ5 项目-项目共现矩阵 $X^T X$ 的逆是否是线性协同过滤中项目-项目相似度矩阵的理论正确形式？

主要发现

• 所提方法相比Slim实现了显著更短的训练时间，实验中未观察到收敛问题。
• 在三个数据集中的两个（MovieLens和Book-Crossing）上，该方法在排序准确率上优于Slim和所有对比的深度学习模型，包括CDAE和Mult-VAE。
• 在MovieLens数据集上，该模型实现了0.425的平均倒数排名（MRR），超过Slim的性能，并优于CDAE（MRR 0.283）和Mult-VAE（MRR 0.364）。
• 即使在极低稀疏度（稀疏度水平0.0007）下，该方法仍保持高准确率，在Book-Crossing上MRR达到0.371，优于wmf（MRR 0.312）和cdae（MRR 0.283）。
• 基于 $\hat{B} = (X^T X + \lambda I)^{-1} X^T Y$ 的闭式解被证明在计算上高效且理论合理，$X^T X$ 的逆提供了正确的相似度矩阵。
• 研究发现，稀疏建模主要降低计算成本而非提升排序准确率，尽管它有助于缓解因过度流行项目带来的信任崩塌问题。