[论文解读] Boosting Graph Structure Learning with Dummy Nodes

Xin Liu, Jay J. Cheng+2 more|arXiv (Cornell University)|Jun 17, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出了一种新颖的方法，通过引入一个与所有现有顶点相连的虚拟节点，在不改变原始图属性的前提下增强图结构学习。该虚拟节点实现了无损、单态的边到顶点转换及其逆变换，保留了局部与全局结构，从而在图核和GNN上以线性计算成本提升了图分类与子图同构任务的性能。

ABSTRACT

With the development of graph kernels and graph representation learning, many superior methods have been proposed to handle scalability and oversmoothing issues on graph structure learning. However, most of those strategies are designed based on practical experience rather than theoretical analysis. In this paper, we use a particular dummy node connecting to all existing vertices without affecting original vertex and edge properties. We further prove that such the dummy node can help build an efficient monomorphic edge-to-vertex transform and an epimorphic inverse to recover the original graph back. It also indicates that adding dummy nodes can preserve local and global structures for better graph representation learning. We extend graph kernels and graph neural networks with dummy nodes and conduct experiments on graph classification and subgraph isomorphism matching tasks. Empirical results demonstrate that taking graphs with dummy nodes as input significantly boosts graph structure learning, and using their edge-to-vertex graphs can also achieve similar results. We also discuss the gain of expressive power from the dummy in neural networks.

研究动机与目标

• 解决现有图结构学习方法依赖启发式或经验调参策略而非理论基础的局限性。
• 探究是否可通过专门设计的虚拟节点实现在图中无损、结构保持的边到顶点转换。
• 利用虚拟节点扩展图核与图神经网络，提升其捕捉复杂子图结构的能力。
• 通过实证验证所提方法在图分类与子图同构匹配任务上的有效性。
• 分析消息传递神经网络与Transformer在引入虚拟节点后表达能力的提升。

提出的方法

• 引入一个与所有现有顶点相连的虚拟节点，保持原始顶点与边的属性不变。
• 设计一种高效的单态边到顶点变换 $ L_{\Phi} $，在保持结构完整性的前提下将边映射为顶点。
• 构建一个满射的逆变换 $ L_{\Phi}^{-1} $，用于从变换后的图中恢复原始图。
• 将边到顶点的变换应用于基于顶点的图核与GNN，使其能够隐式学习基于边的子结构。
• 将虚拟节点集成到GNN与图核中，保持相对于边数的线性时间复杂度。
• 将变换后的图 $ \mathcal{H}_{\Phi} $ 作为GNN与图核的输入，从而在结构敏感任务上实现性能提升。

实验结果

研究问题

• RQ1 一个与所有顶点相连的虚拟节点是否能实现无损的边到顶点转换，同时保持图的结构？
• RQ2 所提出的边到顶点变换及其逆变换是否保持了原始图的拓扑与子结构属性？
• RQ3 引入虚拟节点在多大程度上提升了图核与GNN在图分类与子图同构匹配任务上的性能？
• RQ4 当消息传递神经网络引入虚拟节点后，其表达能力如何变化？
• RQ5 具有CLS标记的Transformer（类比于虚拟节点）是否能超越标准GNN的表达能力？

主要发现

• 所提出的边到顶点变换 $ L_{\Phi} $ 是单态且无损的，其逆变换 $ L_{\Phi}^{-1} $ 明确定义并能恢复原始图。
• 引入虚拟节点的图在图分类与子图同构匹配任务中显著提升性能，HGT在GED任务中实现49.59%的相对误差降低。
• DMPNN-LRP在同构数据上达到最低误差，但在异构图上性能下降，原因在于通过线图学习边表示存在挑战。
• 反向边与虚拟节点的结合显著提升了性能，尤其在RGIN中表现突出；然而，DMPNN与DMPNN-LRP的主要性能提升来自反向边。
• 使用 $ \mathcal{H}_{\Phi} $ 的MPNN表达能力超越2-WL，优于受限于1-WL或2-WL表达能力的标准GNN。
• 具有CLS标记的Transformer（类比于虚拟节点）预计可超越2-WL表达能力，12层模型可捕捉高达12,288规模的模式。