[论文解读] Ego-based Entropy Measures for Structural Representations

George Dasoulas, Giannis Nikolentzos+3 more|arXiv (Cornell University)|Mar 1, 2020

Complex Network Analysis Techniques参考文献 24被引用 4

一句话总结

本文提出 VNEstruct，一种计算高效的低维结构节点嵌入学习方法，通过在不断增加半径的同构网络上使用冯·诺伊曼熵来实现。通过捕捉局部邻域中的拓扑复杂性，该方法在图分类任务中实现了最先进性能，同时保持了高速度和强鲁棒性，在多个基准测试中优于消息传递图神经网络，且计算开销极低。

ABSTRACT

In complex networks, nodes that share similar structural characteristics often exhibit similar roles (e.g type of users in a social network or the hierarchical position of employees in a company). In order to leverage this relationship, a growing literature proposed latent representations that identify structurally equivalent nodes. However, most of the existing methods require high time and space complexity. In this paper, we propose VNEstruct, a simple approach for generating low-dimensional structural node embeddings, that is both time efficient and robust to perturbations of the graph structure. The proposed approach focuses on the local neighborhood of each node and employs the Von Neumann entropy, an information-theoretic tool, to extract features that capture the neighborhood's topology. Moreover, on graph classification tasks, we suggest the utilization of the generated structural embeddings for the transformation of an attributed graph structure into a set of augmented node attributes. Empirically, we observe that the proposed approach exhibits robustness on structural role identification tasks and state-of-the-art performance on graph classification tasks, while maintaining very high computational speed.

研究动机与目标

• 开发一种快速且可扩展的方法，用于学习捕捉复杂网络中功能角色的结构节点嵌入。
• 解决现有结构表示学习方法时间与空间复杂度高的问题。
• 通过将基于熵的结构特征加入节点属性，实现有效的图分类。
• 确保对图扰动的鲁棒性以及邻域表示的置换不变性。
• 提供一种基于预处理的替代消息传递图神经网络的方法，在保持性能的同时降低训练成本。

提出的方法

• 该方法为每个节点构建最大半径 r ∈ {1,2,3,4} 以内的同构网络，以捕捉局部结构上下文。
• 对于每个同构网络，计算归一化拉普拉斯矩阵的冯·诺伊曼熵，以量化拓扑复杂性。
• 在多个半径下获得的熵值构成每个节点的结构特征向量，编码分层邻域结构。
• 将这些基于熵的特征与原始节点属性拼接，形成增强的节点表示。
• 将增强后的特征用作标准神经网络的输入，以执行下游任务（如图分类）。
• 该方法具有置换不变性且与模型无关，仅依赖于局部图结构和信息论度量。

实验结果

研究问题

• RQ1 在复杂网络中，同构网络上的冯·诺伊曼熵是否能有效捕捉结构角色？
• RQ2 在图分类任务中，所提出方法与最先进图神经网络相比，在性能和效率方面表现如何？
• RQ3 预计算结构嵌入是否能在保持或提升准确率的同时提高训练速度？
• RQ4 该方法在图结构扰动下的鲁棒性如何？
• RQ5 基于熵的特征是否能有效增强节点属性，以支持图级预测任务？

主要发现

• VNEstruct 在 4 个图分类数据集中的 3 个（MUTAG、PTC-MR、IMDB-BINARY）达到了最先进性能，优于 GIN、GCN 和 DGCNN。
• 在 PROTEINS 数据集上，VNEstruct 达到了第二名的准确率，表现出强劲的竞争力。
• 由于预计算的结构特征，该方法每轮训练速度比 GIN 快 0.31 倍，比 GCN 快 0.60 倍。
• VNEstruct 对图扰动表现出高度鲁棒性，多轮运行中性能稳定，标准差低于 5%。
• 在 IMDB-BINARY 上，该方法实现了 91.08% ± 5.65 的准确率，超过 GFN（90.84%），并匹配最先进图神经网络的表现。
• 由于嵌入维度低（d ≤ 4），该方法内存占用极低，适用于大规模图。