[论文解读] Modeling homophily and stochastic equivalence in symmetric relational data

Peter D. Hoff|ArXiv.org|Nov 7, 2007

Bayesian Modeling and Causal Inference参考文献 8被引用 212

一句话总结

本文提出了特征模型（eigenmodel），一种用于对称关系数据的潜在变量框架，通过将关系建模为节点特定潜在向量的加权内积，统一了潜在类模型和距离模型。该文在数学和实证层面均证明，特征模型能够同时捕捉同质性（homophily）与随机等价性（stochastic equivalence），在三个真实数据集——友谊网络、《创世记》中的词语邻接关系、蛋白质-蛋白质相互作用——上均表现出优于传统模型的预测准确性。

ABSTRACT

This article discusses a latent variable model for inference and prediction of symmetric relational data. The model, based on the idea of the eigenvalue decomposition, represents the relationship between two nodes as the weighted inner-product of node-specific vectors of latent characteristics. This ``eigenmodel'' generalizes other popular latent variable models, such as latent class and distance models: It is shown mathematically that any latent class or distance model has a representation as an eigenmodel, but not vice-versa. The practical implications of this are examined in the context of three real datasets, for which the eigenmodel has as good or better out-of-sample predictive performance than the other two models.

研究动机与目标

• 开发一个统一的统计模型，以同时捕捉对称关系数据中的同质性与随机等价性。
• 在单一框架内，将现有的潜在变量模型（特别是潜在类模型与距离模型）进行推广。
• 证明特征模型在真实数据集上的样本外预测性能优于传统模型。
• 从数学上证明，任何潜在类模型或距离模型均可表示为特征模型的特例，但反之不成立。
• 通过特征值分解对社会矩阵数据进行低秩近似，以提升可解释性与推断能力。

提出的方法

• 特征模型将节点 i 与 j 之间的关系表示为 y_ij = β'x_ij + u_i^TΛu_j，其中 u_i 与 u_j 为潜在向量，Λ 为特征值对角矩阵。
• 利用社会矩阵的特征值分解提取低秩潜在结构，以捕捉关系数据中的变异。
• 通过有序probit似然函数将模型扩展至非高斯数据，适用于离散或计数型关系数据。
• 采用马尔可夫链蒙特卡洛（MCMC）方法进行潜在向量与模型参数的后验推断。
• 通过交叉验证比较模型的样本外预测性能。
• 该模型统一了潜在类模型与距离模型，因为任何此类模型均可表示为特征模型的特例。

实验结果

研究问题

• RQ1 一个单一的潜在变量模型能否同时表示对称关系数据中的同质性与随机等价性？
• RQ2 在真实数据集上，特征模型与潜在类模型、距离模型相比，其预测性能如何？
• RQ3 特征模型与现有模型（如潜在类模型与距离模型）之间的数学关系是什么？
• RQ4 特征模型是否能比传统模型更灵活、更准确地表示复杂网络结构？
• RQ5 特征模型同时表示同质性与随机等价性的能力，是否能带来更优的样本外预测表现？

主要发现

• 在分析的三个真实数据集（友谊网络、《创世记》中的词语邻接关系、蛋白质-蛋白质相互作用）上，特征模型在样本外预测性能上均优于潜在类模型与距离模型。
• 在友谊网络数据中，特征模型与距离模型表现最佳，而潜在类模型即使在增加 K 的情况下表现仍较差。
• 在《创世记》的文本关系数据中，潜在类模型优于距离模型，而特征模型的表现与之相当，支持了词语邻接关系更宜用基于类的关系而非空间接近性来解释的观点。
• 在蛋白质-蛋白质相互作用数据中，K=3 的特征模型在所有 K 值下均优于潜在类模型与距离模型，表明其在捕捉类似枢纽的结构与传递性三元组方面具有更强的能力。
• 数学推导表明，每一个潜在类模型与距离模型均可表示为特征模型的特例，但反之不成立，证实了特征模型的通用性。
• 特征模型通过特征值分解实现的低秩近似，使其能够灵活表示复杂的关联模式，而无需对群体结构或空间嵌入预先设定假设。