[论文解读] Deep Generative Models for Relational Data with Side Information

Changwei Hu, Piyush Rai+1 more|arXiv (Cornell University)|Jun 16, 2017

Bayesian Methods and Mixture Models参考文献 1被引用 7

一句话总结

该论文提出了一种用于关系数据的深度生成模型，通过多层潜在特征学习分层且重叠的社区结构，同时通过基于回归的映射将节点侧信息整合进来。利用数据增强实现完全的局部共轭性，该模型实现了边计数复杂度的高效吉布斯采样，在稀疏、复杂网络上实现了最先进的链接预测和社区发现性能，同时提升了可解释性和可扩展性。

ABSTRACT

We present a probabilistic framework for overlapping community discovery and link prediction for relational data, given as a graph. The proposed framework has: (1) a deep architecture which enables us to infer multiple layers of latent features/communities for each node, providing superior link prediction performance on more complex networks and better interpretability of the latent features; and (2) a regression model which allows directly conditioning the node latent features on the side information available in form of node attributes. Our framework handles both (1) and (2) via a clean, unified model, which enjoys full local conjugacy via data augmentation, and facilitates efficient inference via closed form Gibbs sampling. Moreover, inference cost scales in the number of edges which is attractive for massive but sparse networks. Our framework is also easily extendable to model weighted networks with count-valued edges. We compare with various state-of-the-art methods and report results, both quantitative and qualitative, on several benchmark data sets.

研究动机与目标

• 为解决单层潜在特征模型在捕捉关系网络中复杂分层社区结构方面的局限性。
• 通过学习多层重叠潜在特征，提升稀疏网络中的链接预测与社区发现性能。
• 将节点侧信息（属性）直接整合到潜在特征学习过程中，以提升泛化能力，特别是在冷启动场景下。
• 开发一种完全贝叶斯模型，通过数据增强和闭式吉布斯采样实现高效推断，其复杂度与边数呈线性关系。

提出的方法

• 采用多层二值潜在特征的深度架构，支持分层且重叠的社区发现。
• 使用双线性链接函数 p(Aij=1) = g(z_i^T Λ z_j) 基于潜在特征交互建模边存在的概率。
• 通过可学习权重 w^(ℓ)_k 和偏置 b^(ℓ)_k，利用回归模型将节点属性 S 映射到潜在特征。
• 应用 Pólya-Gamma 数据增强以实现完全局部共轭性，从而对所有潜在变量实现闭式吉布斯采样。
• 通过 Gamma-Poisson 构造将框架扩展至具有计数型边的加权网络。
• 采用中国餐馆桌（CRT）先验进行聚类分配，以及 Gamma-Gaussian 层次先验对模型参数建模，实现非参数聚类。

实验结果

研究问题

• RQ1 与平面的单层模型相比，深度分层潜在特征模型是否能显著提升在复杂稀疏网络上的链接预测性能？
• RQ2 在低边数或冷启动场景下，侧信息（节点属性）在多大程度上能有效提升社区检测与链接预测性能？
• RQ3 该模型是否通过与边数而非节点数呈线性关系的复杂度，保持在大规模稀疏网络上的计算效率与可扩展性？
• RQ4 多层潜在特征的分层结构在多大程度上提升了可解释性，并能更好地捕捉复杂社区依赖关系？

主要发现

• 所提出的模型在多个基准数据集上实现了链接预测的最先进性能，优于 LFRM、DeepWalk 和 GCN 等现有方法。
• 引入侧信息显著提升了稀疏网络上的性能，并实现了对无观测链接的新节点的有效冷启动预测。
• 该模型在边数上具有高效可扩展性，适用于大规模稀疏现实世界网络（如社交网络或引用图）。
• 多层潜在特征的分层结构提升了社区成员身份的可解释性，并能更好地捕捉复杂且相互依赖的聚类关系。
• Pólya-Gamma 增强的使用实现了完全局部共轭性与高效吉布斯采样，推断成本与观测边数成正比。
• 通过 Gamma-Poisson 构造，该框架可自然扩展至加权网络，同时保持相同的推断效率。