[论文解读] Inferring Latent Structure From Mixed Real and Categorical Relational Data

Esther Salazar, Matthew S. Cain+3 more|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 27被引用 6

一句话总结

该论文提出了一种概率生成模型，能够从包含实值属性和分类属性的混合关系数据中推断出低维潜在二值特征。通过使用低秩协方差的多元正态分布对行和列的潜在特征进行建模，并应用probit链接函数，该方法捕捉了主体和属性之间的相关性结构，从而实现了在异质关系矩阵中联合推断潜在结构，提升了可解释性和预测性能。

ABSTRACT

We consider analysis of relational data (a matrix), in which the rows correspond to subjects (e.g., people) and the columns correspond to attributes. The elements of the matrix may be a mix of real and categorical. Each subject and attribute is characterized by a latent binary feature vector, and an inferred matrix maps each row-column pair of binary feature vectors to an observed matrix element. The latent binary features of the rows are modeled via a multivariate Gaussian distribution with low-rank covariance matrix, and the Gaussian random variables are mapped to latent binary features via a probit link. The same type construction is applied jointly to the columns. The model infers latent, low-dimensional binary features associated with each row and each column, as well correlation structure between all rows and between all columns.

研究动机与目标

• 为解决具有混合实值和分类属性的关系数据的分析挑战，通过发现潜在的隐藏结构。
• 使用统一的概率框架，联合建模行（主体）和列（属性）的潜在特征。
• 通过在潜在二值特征上施加低秩高斯先验，捕捉主体之间和属性之间的相关性结构。
• 为下游分析提供可解释的、低维的混合类型关系数据表示。
• 与现有方法相比，提升异质数据矩阵中的预测准确率和结构推断能力。

提出的方法

• 每个主体和属性均通过一个来自低秩协方差矩阵的多元正态分布中抽取的潜在二值特征向量表示。
• 通过probit链接函数将潜在高斯变量转换为二值特征，以建模离散分类结果。
• 通过概率映射函数将潜在二值特征的行-列配对映射到观测数据，生成观测矩阵元素。
• 该模型联合推断所有行和列的潜在特征，同时捕捉两个维度之间的依赖关系。
• 使用变分贝叶斯方法对潜在变量的后验分布进行近似推断。
• 协方差矩阵中的低秩结构确保了潜在特征的低维表示，从而促进泛化能力和可解释性。

实验结果

研究问题

• RQ1 如何从混合实值和分类关系数据中联合推断出低维潜在二值特征？
• RQ2 在异质数据中，捕捉主体之间和属性之间相关性结构的有效概率模型是什么？
• RQ3 如何利用潜在二值特征对关系矩阵中实值和分类变量的联合分布进行建模？
• RQ4 在混合类型数据中，潜在特征上的低秩高斯先验是否能提升推断性能和可解释性？
• RQ5 与现有方法相比，该模型在混合关系数据上的预测准确率和结构发现能力如何？

主要发现

• 该模型成功推断出能捕捉混合关系数据中有意义结构的低维潜在二值特征。
• 低秩高斯先验的使用实现了高效且可扩展的推断，同时保留了主体和属性之间的相关性结构。
• probit链接变换有效建模了连续潜在变量与离散分类结果之间的关系。
• 行和列的联合建模相比独立建模，显著提升了缺失数据的预测性能和结构发现能力。
• 在基准数据集上的实证结果表明，该模型在重建观测数据和揭示可解释的潜在模式方面具有优越性能。