[论文解读] Deep Gaussian Embedding of Attributed Graphs: Unsupervised Inductive Learning via Ranking

Aleksandar Bojchevski, Stephan Günnemann|arXiv (Cornell University)|Jul 12, 2017

Advanced Graph Neural Networks被引用 40

一句话总结

Graph2Gauss 提出了一种无监督、归纳式的节点嵌入方法，通过将每个节点表示为高斯分布来捕捉表示中的不确定性。它利用节点距离上的个性化排序损失，联合利用图结构和节点属性，在链接预测和节点分类任务上实现了最先进性能，同时支持对未见节点的泛化能力。

ABSTRACT

Methods that learn representations of nodes in a graph play a critical role in network analysis since they enable many downstream learning tasks. We propose Graph2Gauss - an approach that can efficiently learn versatile node embeddings on large scale (attributed) graphs that show strong performance on tasks such as link prediction and node classification. Unlike most approaches that represent nodes as point vectors in a low-dimensional continuous space, we embed each node as a Gaussian distribution, allowing us to capture uncertainty about the representation. Furthermore, we propose an unsupervised method that handles inductive learning scenarios and is applicable to different types of graphs: plain/attributed, directed/undirected. By leveraging both the network structure and the associated node attributes, we are able to generalize to unseen nodes without additional training. To learn the embeddings we adopt a personalized ranking formulation w.r.t. the node distances that exploits the natural ordering of the nodes imposed by the network structure. Experiments on real world networks demonstrate the high performance of our approach, outperforming state-of-the-art network embedding methods on several different tasks. Additionally, we demonstrate the benefits of modeling uncertainty - by analyzing it we can estimate neighborhood diversity and detect the intrinsic latent dimensionality of a graph.

研究动机与目标

• 为解决基于点的节点嵌入在捕捉图表示不确定性方面的局限性。
• 开发一种无监督、归纳式方法，实现对未见节点的泛化而无需重新训练。
• 联合建模网络结构与节点属性，以提升表示学习性能。
• 实现对各类图类型的适用性，包括有向图、无向图、普通图和属性图。
• 通过不确定性分析提供可解释性，例如估计邻域多样性与潜在维度。

提出的方法

• 每个节点被嵌入为高斯分布（均值与协方差），以建模其表示中的不确定性。
• 基于嵌入空间中节点距离构建个性化排序损失，利用图结构所诱导的自然排序。
• 通过对比排序目标，联合优化网络拓扑与节点属性。
• 通过独立参数化每个节点的嵌入函数实现归纳学习，从而支持对先前未见节点的推理。
• 排序目标确保在结构与属性相似性方面更相近的节点在嵌入空间中排名更高。
• 使用随机优化方法端到端训练模型，无需标注数据。

实验结果

研究问题

• RQ1 与点嵌入相比，将节点表示建模为高斯分布是否能在下游图学习任务中提升性能？
• RQ2 无监督、归纳式方法在属性图中对未见节点的泛化能力在多大程度上得以实现？
• RQ3 在无标签条件下，联合建模结构与属性在多大程度上提升了表示质量？
• RQ4 嵌入中的不确定性是否能揭示如邻域多样性与内在维度等结构特性？
• RQ5 个性化排序目标是否在链接预测与节点分类任务上优于现有方法？

主要发现

• Graph2Gauss 在多个基准数据集上，于链接预测与节点分类任务中均优于最先进网络嵌入方法。
• 通过高斯嵌入建模不确定性，可估计邻域多样性，从而揭示局部图结构的洞察。
• 不确定性分析揭示了底层图的内在潜在维度，提供了一种数据驱动的复杂度度量。
• 该方法能有效泛化至未见节点，展现出强大的归纳偏差，且无需重新训练。
• 个性化排序目标有效捕捉了结构与属性相似性，从而提升了下游任务性能。
• 在真实世界网络上的实验验证了该方法在大规模属性图上的鲁棒性与可扩展性。