[论文解读] Understanding graph embedding methods and their applications

Mengjia Xu|arXiv (Cornell University)|Dec 15, 2020

Advanced Graph Neural Networks参考文献 63被引用 12

一句话总结

本文全面综述了图嵌入方法，重点聚焦于基于随机游走和神经网络的技术，将高维稀疏图转化为保留结构特性的低维稠密向量表示。该方法在节点分类和链接预测等下游任务中表现出色，其新颖贡献在于通过G2G模型实现不确定性感知的高斯嵌入，在CORAM-L数据集上取得了AUC为0.93、F1-macro为0.85的最先进性能。

ABSTRACT

Graph analytics can lead to better quantitative understanding and control of complex networks, but traditional methods suffer from high computational cost and excessive memory requirements associated with the high-dimensionality and heterogeneous characteristics of industrial size networks. Graph embedding techniques can be effective in converting high-dimensional sparse graphs into low-dimensional, dense and continuous vector spaces, preserving maximally the graph structure properties. Another type of emerging graph embedding employs Gaussian distribution-based graph embedding with important uncertainty estimation. The main goal of graph embedding methods is to pack every node's properties into a vector with a smaller dimension, hence, node similarity in the original complex irregular spaces can be easily quantified in the embedded vector spaces using standard metrics. The generated nonlinear and highly informative graph embeddings in the latent space can be conveniently used to address different downstream graph analytics tasks (e.g., node classification, link prediction, community detection, visualization, etc.). In this Review, we present some fundamental concepts in graph analytics and graph embedding methods, focusing in particular on random walk-based and neural network-based methods. We also discuss the emerging deep learning-based dynamic graph embedding methods. We highlight the distinct advantages of graph embedding methods in four diverse applications, and present implementation details and references to open-source software as well as available databases in the Appendix for the interested readers to start their exploration into graph analytics.

研究动机与目标

• 解决在大规模、高维且异构网络上进行传统图分析时面临的高计算成本和内存开销问题。
• 为将复杂不规则图结构映射到低维连续向量空间的图嵌入技术提供系统性理解。
• 评估图嵌入在下游任务（如节点分类、链接预测和社区检测）中的性能表现。
• 提出并验证一种新颖的基于多变量高斯分布的随机图嵌入方法，用于节点表示中的不确定性量化。
• 为研究人员提供实用的实现指导、开源参考和可访问的数据集，以复现和扩展所提出的方法。

提出的方法

• 采用基于随机游走的方法（如DeepWalk和node2vec），通过skip-gram模型生成保留局部和全局图结构的节点序列。
• 应用基于神经网络的模型（包括GraphSAGE和G2G（Graph-to-Gaussian）），通过使用无监督目标训练的深度编码器架构学习节点嵌入。
• 采用平方指数损失函数并使用Adam优化器训练G2G模型，学习每个节点的多变量高斯分布的均值和协方差。
• 使用t-SNE进行降维，将高维嵌入可视化在二维空间中，通过概率椭圆表示节点位置及其不确定性。
• 采用基于KL散度的能量评分方法进行链接预测，使用逻辑回归与交叉验证对学习到的嵌入进行节点分类。
• 将CORA-ML图划分为训练集、验证集和测试集（分别占10%和5%），以评估泛化能力并避免数据泄露。

实验结果

研究问题

• RQ1 基于随机游走和神经网络的图嵌入方法在低维空间中如何保留复杂网络的结构特性？
• RQ2 通过高斯分布引入不确定性估计对图嵌入在下游任务中的影响是什么？
• RQ3 在大规模网络上，图嵌入与传统手工设计的拓扑特征相比，在性能和可扩展性方面有何差异？
• RQ4 与基线方法相比，学习到的图嵌入在节点分类和链接预测任务中能多大程度上提升性能？
• RQ5 G2G模型在捕捉节点表示及其不确定性方面有多有效？其在真实世界属性网络（如CORA-ML）上的表现如何？

主要发现

• G2G模型在CORA-ML数据集的链接预测任务中取得了0.93的AUC和0.87的平均精度，表明其在真实世界引用网络中具有强大的泛化能力。
• 使用学习到的高斯嵌入的均值向量进行节点分类，在10折交叉验证后，F1-macro得分为0.85，F1-micro得分为0.88。
• 对嵌入进行t-SNE可视化显示，按类别聚类清晰，表明学习到的表示能有效捕捉语义和结构相似性。
• 通过协方差矩阵实现的不确定性感知嵌入，使预测置信度可通过概率椭圆可视化，增强了节点表示的可解释性。
• 所提出的随机嵌入框架在不确定性感知任务中优于标准的确定性嵌入，表明建模节点特征的分布不确定性具有重要价值。
• 该方法在大规模图上具有良好的可扩展性，如在包含2,995个节点、8,416条边、节点属性维度为2,879的网络上训练时，未出现内存或运行时间成本过高的问题。