[论文解读] Group-sparse Embeddings in Collective Matrix Factorization

Arto Klami, Guillaume Bouchard+1 more|Työväentutkimus Vuosikirja|Dec 20, 2013

Recommender Systems and Techniques参考文献 23被引用 27

一句话总结

该论文提出了一种分组稀疏集体矩阵分解（gCMF），这是一种贝叶斯方法，通过使用自动相关性确定（ARD）的分组稀疏性，使多矩阵系统中每个矩阵都能拥有独立于其他矩阵的私有低秩因子。该方法可自动识别共享因子与私有因子而无需调参，在推荐系统和多视角学习中表现优于标准CMF，并能高效支持混合数据类型和缺失数据。

ABSTRACT

CMF is a technique for simultaneously learning low-rank representations based on a collection of matrices with shared entities. A typical example is the joint modeling of user-item, item-property, and user-feature matrices in a recommender system. The key idea in CMF is that the embeddings are shared across the matrices, which enables transferring information between them. The existing solutions, however, break down when the individual matrices have low-rank structure not shared with others. In this work we present a novel CMF solution that allows each of the matrices to have a separate low-rank structure that is independent of the other matrices, as well as structures that are shared only by a subset of them. We compare MAP and variational Bayesian solutions based on alternating optimization algorithms and show that the model automatically infers the nature of each factor using group-wise sparsity. Our approach supports in a principled way continuous, binary and count observations and is efficient for sparse matrices involving missing data. We illustrate the solution on a number of examples, focusing in particular on an interesting use-case of augmented multi-view learning.

研究动机与目标

• 解决现有集体矩阵分解（CMF）方法的局限性，即假设所有因子在所有矩阵间共享。
• 使每个矩阵能够拥有不与其他矩阵共享的独立低秩结构，尤其适用于存在视角特异性噪声或私有因子的情况。
• 开发一种基于贝叶斯原理的解决方案，利用分组稀疏性自动推断每个因子的性质（共享或私有）。
• 在统一框架中支持多种数据类型——连续型、二值型和计数型。
• 通过稀疏正则化引入结构先验，提升多视角学习和推荐系统中的性能。

提出的方法

• 提出对由多个输入矩阵构建的大规模方阵进行对称分解，实现共享与私有因子的联合学习。
• 采用基于自动相关性确定（ARD）的分组稀疏正则化，以控制每类实体的因子活跃度。
• 使用变分贝叶斯推理框架结合交替优化，估计因子和超参数的后验分布。
• 支持多种似然模型（高斯、伯努利、泊松），以灵活建模连续型、二值型和计数型观测值，适用于混合数据类型。
• 在模型中显式引入偏置项，提升推荐系统中冷启动问题的性能。
• 采用凸松弛方法进行对比，并证明变分贝叶斯解法避免了先前凸优化方法所需的超参数调优。

实验结果

研究问题

• RQ1 集体矩阵分解模型能否在无需手动调参的情况下，自动识别哪些因子在所有矩阵间共享，哪些仅属于子集？
• RQ2 当各矩阵具有不同低秩结构时，通过ARD实现的分组稀疏性在多大程度上能提升因子分解性能？
• RQ3 在推荐系统中，偏置项的引入在多大程度上提升了冷启动场景下的性能？
• RQ4 所提出的模型能否在统一框架下有效处理混合数据类型（连续型、二值型、计数型）？
• RQ5 当将额外的视图间关系（如基因邻近性）作为第三张矩阵引入时，该模型在多视角学习任务中的表现如何？

主要发现

• gCMF模型在MovieLens和Flickr推荐系统基准测试中均优于标准CMF，尤其在引入偏置项时表现更优，RMSE更低且无需正则化参数调优。
• 该模型性能与凸CMF（CCMF）相当，但无需超参数验证，显著降低计算成本并提升实用性。
• 在多视角图像重建任务中，当使用基于邻近性的增强方法时，gCMF方法显著降低预测误差，且在中等邻域宽度下达到最优性能。
• 引入偏置项可提升冷启动性能，尤其在MovieLens中，RMSE从无偏置CMF的1.0569降至有偏置CMF的0.9475，gCMF达到相同性能水平。
• 当增强矩阵趋近全1或全0时，gCMF模型退化为经典多视角学习方法，证实其在极端条件下的鲁棒性与一致性。
• gCMF在所有数据集和设置下始终优于或等同于CMF，表明允许私有因子不仅不会降低性能，反而常能提升性能。