[论文解读] ANAE: Learning Node Context Representation for Attributed Network Embedding

Keting Cen, Huawei Shen+4 more|arXiv (Cornell University)|Jun 20, 2019

Advanced Graph Neural Networks参考文献 62被引用 6

一句话总结

本文提出了一种名为ANAE的新颖属性网络自编码器框架，通过建模每个节点周围的属性局部子图来学习节点表示。通过使用图注意力网络（GAT）构建的编码器-解码器架构，ANAE同时捕捉结构和属性的上下文信息，在多个真实世界数据集上的节点分类和链接预测任务中达到最先进性能。

ABSTRACT

Attributed network embedding aims to learn low-dimensional node representations from both network structure and node attributes. Existing methods can be categorized into two groups: (1) the first group learns two separated node representations from network structure and node attribute respectively and concatenates them together; (2) the other group obtains node representations by translating node attributes into network structure or vice versa. However, both groups have their drawbacks. The first group neglects the correlation between network structure and node attributes, while the second group assumes strong dependence between these two types of information. In this paper, we address attributed network embedding from a novel perspective, i.e., learning node context representation for each node via modeling its attributed local subgraph. To achieve this goal, we propose a novel attributed network auto-encoder framework, namely ANAE. For a target node, ANAE first aggregates the attribute information from its attributed local subgraph, obtaining its low-dimensional representation. Next, ANAE diffuses the representation of the target node to nodes in its local subgraph to reconstruct their attributes. Such an encoder-decoder framework allows the learned representations to better preserve the context information manifested in both network structure and node attributes, thus having high capacity to learn good node representations for attributed network. Extensive experimental results on real-world datasets demonstrate that the proposed framework outperforms the state-of-the-art approaches at the tasks of link prediction and node classification.

研究动机与目标

• 解决现有属性网络嵌入方法的局限性，这些方法要么忽略结构与属性之间的相关性，要么假设二者存在强依赖关系。
• 通过将每个节点的属性局部子图建模为其上下文，为属性网络嵌入提出一种新视角。
• 开发一种灵活的自编码器框架，联合保留节点表示中的结构与属性信息。
• 证明通过上下文重建学习表示可显著提升下游任务（如节点分类和链接预测）的性能。

提出的方法

• ANAE将每个节点的上下文建模为其属性局部子图，即以目标节点为中心、包含相关节点属性的子图。
• 图上下文编码器使用图注意力网络（GAT）聚合邻近节点的属性信息，生成低维节点表示。
• 图上下文解码器将目标节点的表示扩散至其邻居，实现其原始属性的重建。
• 该框架使用重建损失进行模型训练，确保学习到的表示能够恢复局部上下文。
• 编码器和解码器中的注意力机制可基于结构和属性接近度自适应加权邻居。
• 模型以GAT作为构建模块，支持端到端学习上下文感知的节点嵌入。

实验结果

研究问题

• RQ1 将节点的属性局部子图作为其上下文建模，是否能提升属性网络中的节点表示学习？
• RQ2 所提出的ANAE框架与现有方法相比表现如何，这些方法要么拼接结构与属性嵌入，要么在两者之间进行转换？
• RQ3 注意力机制在捕捉相关邻居以构建上下文表示方面有何贡献？
• RQ4 自编码器的重建目标在保留结构与属性信息方面有多有效？
• RQ5 解码器在重建邻居属性方面的作用是否提升了学习到的节点表示的质量？

主要发现

• ANAE在四个真实世界属性网络（Cora、Citeseer、Wiki和PubMed）上的节点分类和链接预测任务中，持续优于最先进方法。
• 消融实验表明，ANAE-GCN（采用基于边的聚合）性能劣于ANAE，表明注意力机制通过捕捉更相关上下文提升了性能。
• ANAE-MLP（解码器中使用全连接层）性能劣于ANAE，证明解码器中使用图注意力对有效上下文重建至关重要。
• 当隐藏维度为64时模型达到最优性能，多数数据集在该值之后性能趋于饱和或略有下降。
• t-SNE可视化结果表明，与DeepWalk、TADW和GAE相比，ANAE学习到的表示更具判别性且类别分离更清晰。
• 结果验证了通过属性局部子图建模节点上下文并采用基于重建的训练策略，可获得更鲁棒、更丰富的节点嵌入。