[论文解读] Attributed Network Embedding via Subspace Discovery

Daokun Zhang, Jie Yin+2 more|arXiv (Cornell University)|Jan 14, 2019

Advanced Graph Neural Networks参考文献 35被引用 4

一句话总结

本文提出 attri2vec，一种用于属性网络嵌入的统一框架，通过网络结构引导的原始节点属性变换，发现潜在的属性子空间。通过学习映射将属性空间与网络拓扑对齐，attri2vec 提升了节点表示质量，在节点分类和聚类任务中达到最先进性能，并通过学习到的映射函数实现了高效的样本外节点嵌入。

ABSTRACT

Network embedding aims to learn a latent, low-dimensional vector representations of network nodes, effective in supporting various network analytic tasks. While prior arts on network embedding focus primarily on preserving network topology structure to learn node representations, recently proposed attributed network embedding algorithms attempt to integrate rich node content information with network topological structure for enhancing the quality of network embedding. In reality, networks often have sparse content, incomplete node attributes, as well as the discrepancy between node attribute feature space and network structure space, which severely deteriorates the performance of existing methods. In this paper, we propose a unified framework for attributed network embedding-attri2vec-that learns node embeddings by discovering a latent node attribute subspace via a network structure guided transformation performed on the original attribute space. The resultant latent subspace can respect network structure in a more consistent way towards learning high-quality node representations. We formulate an optimization problem which is solved by an efficient stochastic gradient descent algorithm, with linear time complexity to the number of nodes. We investigate a series of linear and non-linear transformations performed on node attributes and empirically validate their effectiveness on various types of networks. Another advantage of attri2vec is its ability to solve out-of-sample problems, where embeddings of new coming nodes can be inferred from their node attributes through the learned mapping function. Experiments on various types of networks confirm that attri2vec is superior to state-of-the-art baselines for node classification, node clustering, as well as out-of-sample link prediction tasks. The source code of this paper is available at https://github.com/daokunzhang/attri2vec.

研究动机与目标

• 解决属性网络中节点属性稀疏和不完整的问题。
• 克服异构网络结构与属性特征空间之间的差异。
• 学习高质量、低维的节点表示，同时保留结构和内容信息。
• 通过学习到的属性变换，实现高效的样本外节点嵌入。
• 为大规模属性网络开发可扩展的在线学习算法。

提出的方法

• 对原始节点属性应用网络结构引导的变换，以发现尊重网络拓扑的潜在子空间。
• 该方法在属性上采用线性和非线性映射（例如，ReLU、Sigmoid、核函数），以学习保持结构的表示。
• 构建一个优化问题，以在保持网络结构和变换后属性空间中的接近度，通过随机梯度下降求解，时间复杂度为线性。
• 使用 DeepWalk 机制生成节点上下文序列，确保结构相似性被编码到嵌入空间中。
• 在训练过程中学习一个映射函数，仅凭节点属性即可实现对样本外节点嵌入的推理。
• 该框架支持归纳表示学习和高效的在线更新。

实验结果

研究问题

• RQ1 能否发现一个与网络结构更好对齐的潜在属性子空间，以提升节点表示质量？
• RQ2 在线性与非线性变换下，属性稀疏性条件下对属性网络嵌入的增强效果如何？
• RQ3 所提出方法能否泛化到训练过程中未见的样本外节点？
• RQ4 在节点分类和聚类任务中，该框架相较于最先进方法的表现如何？
• RQ5 属性稀疏性和模型超参数对所提方法性能的影响是什么？

主要发现

• 在五个真实世界网络中，attri2vec 在节点分类和聚类任务中均优于最先进基线方法，尤其在 Citeseer 和 DBLP 上表现显著提升。
• attri2vec-sigmoid 搭配 Weighted-L2 算子在样本外链接预测中达到最高 AUC（0.892），表明其对新节点具有强大的泛化能力。
• 该方法在属性稀疏条件下依然稳健：当仅提供 30% 属性时，attri2vec 变体仍优于 DeepWalk，且在 50% 至 100% 属性维度范围内保持稳定性能。
• 性能随嵌入维度、随机游走窗口大小和训练迭代次数的增加而提升，达到阈值后趋于稳定。
• 随机梯度下降算法确保了与节点数量成线性时间复杂度，使方法可扩展至大规模网络。
• 学习到的映射函数可仅凭节点属性准确推理出新出现、未见过节点的嵌入，有效解决了样本外问题。