[论文解读] Kernelized Bayesian Matrix Factorization

Mehmet Gönen, Suleiman A. Khan+1 more|arXiv (Cornell University)|Nov 6, 2012

Text and Document Classification Technologies参考文献 25被引用 12

一句话总结

本文提出了一种完全贝叶斯化的核化矩阵分解方法，通过多核学习整合多种辅助信息源，实现高效的变分推断和矩阵外预测。该方法在药物-蛋白质相互作用预测和多标签分类任务中达到最先进性能，在14个基准数据集中的10个上优于五个基线方法，且汉明损失更低。

ABSTRACT

We extend kernelized matrix factorization with a fully Bayesian treatment and with an ability to work with multiple side information sources expressed as different kernels. Kernel functions have been introduced to matrix factorization to integrate side information about the rows and columns (e.g., objects and users in recommender systems), which is necessary for making out-of-matrix (i.e., cold start) predictions. We discuss specifically bipartite graph inference, where the output matrix is binary, but extensions to more general matrices are straightforward. We extend the state of the art in two key aspects: (i) A fully conjugate probabilistic formulation of the kernelized matrix factorization problem enables an efficient variational approximation, whereas fully Bayesian treatments are not computationally feasible in the earlier approaches. (ii) Multiple side information sources are included, treated as different kernels in multiple kernel learning that additionally reveals which side information sources are informative. Our method outperforms alternatives in predicting drug-protein interactions on two data sets. We then show that our framework can also be used for solving multilabel learning problems by considering samples and labels as the two domains where matrix factorization operates on. Our algorithm obtains the lowest Hamming loss values on 10 out of 14 multilabel classification data sets compared to five state-of-the-art multilabel learning algorithms.

研究动机与目标

• 开发一种完全贝叶斯化的核化矩阵分解方法，以实现高效的推断和矩阵外预测。
• 通过多核学习将多种辅助信息源整合到行和列两个领域中。
• 在双分图推断任务（如药物-蛋白质相互作用网络）中实现有效的预测。
• 通过将样本和标签视为矩阵分解中的两个领域，将框架扩展至多标签学习。
• 在生物相互作用预测和多标签分类任务中，性能优于现有最先进方法。

提出的方法

• 提出一种新颖的完全共轭概率模型用于核化矩阵分解，实现高效的变分推断。
• 使用多核学习将多样化的辅助信息源整合为行和列的独立核函数。
• 采用变分近似方案实现可扩展的贝叶斯推断，克服了以往基于MAP方法的计算局限性。
• 在潜在分量上施加高斯过程先验，并利用源自辅助信息的核函数（如基于标签相似性的Jaccard指数）。
• 整合样本和标签的核矩阵，实现在多标签设置下对非线性关系和相关性的建模。
• 通过在训练性能上进行交叉验证选择潜在分量数量R，最大不超过15个分量。

实验结果

研究问题

• RQ1 能否通过共轭先验和变分近似，使核化矩阵分解的完全贝叶斯化方法在计算上变得可行？
• RQ2 能否通过多核学习有效整合多种辅助信息源至矩阵分解中，以提升预测性能？
• RQ3 所提出的方法是否能实现对先前未见行或列的准确矩阵外预测？
• RQ4 能否通过将样本和标签视为矩阵分解中的两个领域，将该框架推广至多标签分类？
• RQ5 与现有算法相比，该方法在生物相互作用预测和多标签分类任务中是否达到最先进性能？

主要发现

• 所提出的KBMF方法在14个多标签分类数据集中的10个上达到最低汉明损失，优于五个最先进算法。
• 在两个药物-蛋白质相互作用数据集上，KBMF在预测未知相互作用方面显著优于其他方法。
• 变分推断方案实现了完全贝叶斯处理，尽管全贝叶斯推断的计算复杂度更高，但其速度仍快于Zhou等人（2012）的MAP方法。
• 多核学习揭示了具有信息量的辅助信息源，核权重反映了不同数据类型的相对重要性。
• 该方法通过利用辅助信息中的基于核的相似性，成功实现了冷启动预测，适用于先前未见对象。
• 该框架在多标签学习中具有良好的泛化能力，基于核的标签相似性显著提升了相关标签集上的性能。