[论文解读] Conditional Network Embeddings

Bo Kang, Jefrey Lijffijt+1 more|arXiv (Cornell University)|May 19, 2018

Advanced Graph Neural Networks参考文献 11被引用 12

一句话总结

本文提出了条件网络嵌入（CNE），一种基于贝叶斯推断的概率框架，通过将传统网络嵌入方法与先验结构知识（如节点度数或块结构）相结合，实现了性能提升。通过联合建模网络与嵌入的似然函数，CNE在不增加计算复杂度的前提下，在链接预测和多标签分类任务中表现优于最先进方法，在基准网络上取得了更优结果。

ABSTRACT

Network Embeddings (NEs) map the nodes of a given network into $d$-dimensional Euclidean space $\mathbb{R}^d$. Ideally, this mapping is such that `similar' nodes are mapped onto nearby points, such that the NE can be used for purposes such as link prediction (if `similar' means being `more likely to be connected') or classification (if `similar' means `being more likely to have the same label'). In recent years various methods for NE have been introduced, all following a similar strategy: defining a notion of similarity between nodes (typically some distance measure within the network), a distance measure in the embedding space, and a loss function that penalizes large distances for similar nodes and small distances for dissimilar nodes. A difficulty faced by existing methods is that certain networks are fundamentally hard to embed due to their structural properties: (approximate) multipartiteness, certain degree distributions, assortativity, etc. To overcome this, we introduce a conceptual innovation to the NE literature and propose to create \emph{Conditional Network Embeddings} (CNEs); embeddings that maximally add information with respect to given structural properties (e.g. node degrees, block densities, etc.). We use a simple Bayesian approach to achieve this, and propose a block stochastic gradient descent algorithm for fitting it efficiently. We demonstrate that CNEs are superior for link prediction and multi-label classification when compared to state-of-the-art methods, and this without adding significant mathematical or computational complexity. Finally, we illustrate the potential of CNE for network visualization.

研究动机与目标

• 解决标准网络嵌入在表示结构复杂网络（如近似k-部图或幂律度分布网络）时的根本局限性。
• 开发一种方法，以超越欧几里得几何所能捕捉的信息量，最大化嵌入空间中的信息增益。
• 以系统化、概率化的方式将先验知识（如节点度数或社区结构）整合到嵌入过程中。
• 通过过滤已知的结构信息，突出残差网络结构，实现更具信息量和可解释性的网络可视化。
• 证明将嵌入条件化于结构先验可提升下游任务（如链接预测和多标签分类）的性能。

提出的方法

• CNE 使用贝叶斯框架，建模网络与嵌入的联合概率，其中先验编码了已知的结构属性（如节点度数或块成员关系）。
• 该方法应用贝叶斯法则推导出在给定网络和先验条件下的嵌入后验分布，并通过最大似然估计进行最大化。
• 提出一种块随机梯度下降算法，以高效优化嵌入参数，实现对大规模网络的可扩展性。
• 损失函数在嵌入空间中的接近性与网络的结构相似性之间进行权衡，权重由先验分布决定。
• 该模型将嵌入视为隐变量，与网络结构联合学习，使嵌入能够专注于捕捉非平凡的、残差关系。
• 该方法支持灵活的先验，包括度数分布和社区块结构，实现定制化的嵌入学习。

实验结果

研究问题

• RQ1 将网络嵌入条件化于先验结构知识，是否能提升链接预测和多标签分类任务的性能？
• RQ2 在链接上引入基于节点度数或社区结构的先验分布，如何增强欧几里得嵌入的表达能力？
• RQ3 CNE在不增加计算复杂度的前提下，能在多大程度上超越最先进网络嵌入方法？
• RQ4 通过过滤已知的结构模式，CNE能否生成更具可解释性和信息量的可视化结果？
• RQ5 CNE的概率化公式是否能提升在具有挑战性拓扑结构（如二分图或幂律网络）中的泛化能力？

主要发现

• 在多个基准网络（包括引文网络和社会网络）中，CNE在链接预测准确率方面显著优于最先进网络嵌入方法。
• 在多标签分类任务中，CNE的F1得分高于现有方法，尤其在引入节点度数等先验知识时表现更优。
• 该方法保持了与最先进方法相当的可扩展性，块随机梯度下降算法使大规模网络的高效训练成为可能。
• CNE支持直接的二维可视化，能清晰揭示先验之外的残差网络结构，例如在矩阵结构公司网络中识别出团队构成。
• 当使用块结构或度数分布等先验知识时，嵌入空间能更好地捕捉功能性关系，如课程按学术项目分组。
• 实证结果证实，CNE通过聚焦于先验未编码的结构关系，捕获了更具意义、信息更丰富的表示。