[论文解读] A Bayesian Matrix Factorization Model for Relational Data

Ajit Singh, Geoffrey J. Gordon|arXiv (Cornell University)|Mar 15, 2012

Bayesian Modeling and Causal Inference参考文献 18被引用 12

一句话总结

本文提出了一种用于关系数据的分层贝叶斯矩阵分解模型，采用基于梯度和海塞矩阵的提议调优策略的块梅特罗波利斯-哈斯廷斯采样器，以克服标准MCMC方法在混合速度上的不足。该方法通过整合辅助信息提升了预测性能——在利用与刺激相关的元数据增强脑部反应预测方面得到验证。

ABSTRACT

Relational learning can be used to augment one data source with other correlated sources of information, to improve predictive accuracy. We frame a large class of relational learning problems as matrix factorization problems, and propose a hierarchical Bayesian model. Training our Bayesian model using random-walk Metropolis-Hastings is impractically slow, and so we develop a block Metropolis-Hastings sampler which uses the gradient and Hessian of the likelihood to dynamically tune the proposal. We demonstrate that a predictive model of brain response to stimuli can be improved by augmenting it with side information about the stimuli.

研究动机与目标

• 通过整合多个相关联的数据源，解决关系学习中提升预测准确性的挑战。
• 将关系学习问题表述为矩阵分解任务，以实现异构数据的联合建模。
• 为一个分层贝叶斯模型开发一种高效的MCMC推理方法，使其能够扩展至复杂的关系数据。
• 展示辅助信息在增强预测模型中的价值，特别是在神经科学应用中的表现。
• 克服标准随机游走梅特罗波利斯-哈斯廷斯方法在高维贝叶斯矩阵分解中的计算低效问题。

提出的方法

• 将关系学习表述为一个贝叶斯矩阵分解问题，将观测数据建模为一个低秩矩阵，并引入潜在因子。
• 在潜在因子和超参数上引入分层先验结构，以实现在相关数据源之间共享信息。
• 设计一种块梅特罗波利斯-哈斯廷斯采样器，利用梯度和海塞矩阵信息，联合更新潜在变量和超参数的块。
• 通过海塞矩阵动态调优提议分布，以提升MCMC链的混合效率和收敛速度。
• 利用由似然函数和先验分布导出的条件后验分布，指导采样过程。
• 将该模型应用于真实世界数据，包括利用刺激元数据增强的脑部反应预测。

实验结果

研究问题

• RQ1 贝叶斯矩阵分解模型能否有效整合多个关系型数据源以提升预测性能？
• RQ2 在刺激元数据中引入辅助信息，对脑部反应预测的准确性有何影响？
• RQ3 结合梯度和海塞矩阵信息的块梅特罗波利斯-哈斯廷斯采样器，能否显著提升贝叶斯矩阵分解中MCMC的收敛速度？
• RQ4 分层先验对关系学习中模型泛化能力和鲁棒性有何影响？
• RQ5 与标准MCMC方法相比，所提出的方法在计算效率和预测性能方面表现如何？

主要发现

• 与标准随机游走梅特罗波利斯-哈斯廷斯方法相比，基于梯度和海塞矩阵调优的块梅特罗波利斯-哈斯廷斯采样器显著提升了MCMC的混合效率和收敛速度。
• 在模型中引入刺激的辅助信息，显著提升了对脑部反应预测的准确性。
• 分层贝叶斯模型能有效在相关数据源之间共享信息，从而增强泛化能力和预测准确性。
• 与未利用关系或辅助信息的基线模型相比，所提方法取得了更优的预测性能。
• 通过高效的MCMC推理，该模型在处理复杂的关系数据结构时表现出良好的鲁棒性和可扩展性。
• 在脑部反应数据上的实证结果证实，通过矩阵分解进行关系数据增强，能显著提升预测能力。