[论文解读] Matrix Completion on Graphs

Vassilis Kalofolias, Xavier Bresson+2 more|arXiv (Cornell University)|Aug 7, 2014

Sparse and Compressive Sensing Techniques参考文献 22被引用 147

一句话总结

该论文提出了一种新颖的矩阵补全方法，将用户和物品的图结构相似性信息整合进低秩矩阵恢复框架。通过在用户和物品图上施加拉普拉斯正则化以实现平滑性，该方法提升了重建精度，尤其在稀疏观测条件下表现更优，优于标准的核范数最小化方法，在Movielens-10M等真实推荐数据集上表现更佳。

ABSTRACT

The problem of finding the missing values of a matrix given a few of its entries, called matrix completion, has gathered a lot of attention in the recent years. Although the problem under the standard low rank assumption is NP-hard, Candès and Recht showed that it can be exactly relaxed if the number of observed entries is sufficiently large. In this work, we introduce a novel matrix completion model that makes use of proximity information about rows and columns by assuming they form communities. This assumption makes sense in several real-world problems like in recommender systems, where there are communities of people sharing preferences, while products form clusters that receive similar ratings. Our main goal is thus to find a low-rank solution that is structured by the proximities of rows and columns encoded by graphs. We borrow ideas from manifold learning to constrain our solution to be smooth on these graphs, in order to implicitly force row and column proximities. Our matrix recovery model is formulated as a convex non-smooth optimization problem, for which a well-posed iterative scheme is provided. We study and evaluate the proposed matrix completion on synthetic and real data, showing that the proposed structured low-rank recovery model outperforms the standard matrix completion model in many situations.

研究动机与目标

• 通过整合用户与物品邻近图的结构信息，改进低秩矩阵补全。
• 解决标准矩阵补全在稀疏、非均匀采样观测下的局限性。
• 将协同过滤（低秩假设）与基于内容的过滤（图相似性）统一到单一凸优化框架中。
• 开发一种鲁棒且可扩展的算法，利用流形平滑性以提升推荐系统中的泛化能力。
• 在合成数据和真实世界数据上验证该方法，证明其在低观测条件下的优越性。

提出的方法

• 该方法将矩阵补全建模为一个凸优化问题，结合核范数最小化与图拉普拉斯正则化。
• 通过狄利克雷能量（基于拉普拉斯的正则化）在用户和物品图上强制恢复矩阵的平滑性。
• 利用交替方向乘数法（ADMM）求解优化问题，交替进行核范数邻近更新与线性系统求解。
• 基于用户和物品特征，使用基于指数核的相似性函数构建图，并通过ε-邻域或k-NN方法自适应选择邻域。
• 采用变换函数根据距离加权图边，确保仅相关邻近关系对正则化有贡献。
• 通过在不同大小的训练集上进行5折交叉验证进行参数选择，性能在固定测试集上评估。

实验结果

研究问题

• RQ1 在稀疏观测条件下，将用户与物品之间的图结构相似性整合是否能提升矩阵补全性能？
• RQ2 所提出的图正则化低秩模型与标准核范数最小化相比，在重建误差方面表现如何？
• RQ3 当图不完善或采样非均匀时，该模型是否仍具有鲁棒性？
• RQ4 在何种观测稀疏度水平下，图正则化能带来最大收益？
• RQ5 该方法能否有效将协同过滤与基于内容的过滤统一到一个优化框架中？

主要发现

• 在Movielens-10M数据上，联合使用核范数与图正则化的模型（红线）在大多数观测水平下均优于标准核范数（蓝线）和仅图正则化（绿线）的方法。
• 在1%观测条目时，仅图正则化表现最佳，表明当数据极度稀疏时，核范数项可能作用有限。
• 在32%观测条目时，标准核范数方法与联合模型性能相当，表明在数据密度较高时，图正则化的收益趋于饱和。
• 所提模型在Movielens-10M上的重建误差低于1.1星均方根，表明其在预测用户评分方面具有高精度。
• 该模型对非均匀采样和图构建不完善具有鲁棒性，在图质量不佳时仍能保持优异性能。
• 当观测数量较少时，该方法显著优于标准矩阵补全方法，证明其在用户评分有限的真实推荐系统中的实际价值。