[论文解读] Graph Classification via Deep Learning with Virtual Nodes

Trang Pham, Truyen Tran+2 more|arXiv (Cornell University)|Aug 14, 2017

Machine Learning in Materials Science参考文献 16被引用 7

一句话总结

本文提出虚拟节点网络（VCN），一种图分类模型，通过添加一个与所有真实节点相连的虚拟节点来增强图表示，利用列网络架构实现端到端学习。VCN在生物活性预测和软件漏洞检测任务中均达到最先进性能，在AUC和F1分数上均优于现有基线模型。

ABSTRACT

Learning representation for graph classification turns a variable-size graph into a fixed-size vector (or matrix). Such a representation works nicely with algebraic manipulations. Here we introduce a simple method to augment an attributed graph with a virtual node that is bidirectionally connected to all existing nodes. The virtual node represents the latent aspects of the graph, which are not immediately available from the attributes and local connectivity structures. The expanded graph is then put through any node representation method. The representation of the virtual node is then the representation of the entire graph. In this paper, we use the recently introduced Column Network for the expanded graph, resulting in a new end-to-end graph classification model dubbed Virtual Column Network (VCN). The model is validated on two tasks: (i) predicting bio-activity of chemical compounds, and (ii) finding software vulnerability from source code. Results demonstrate that VCN is competitive against well-established rivals.

研究动机与目标

• 解决在具有复杂、非规则结构的可变大小属性图上学习固定大小图表示的挑战。
• 通过捕捉节点属性或局部连通性中未直接体现的全局图级特征，提升图分类性能。
• 开发一种端到端的深度学习框架，联合学习节点与图表示，无需依赖手工设计特征或核方法。
• 在化学与软件工程领域的实际图分类任务中，验证虚拟节点增强策略的有效性。

提出的方法

• 通过将一个虚拟节点与所有真实节点双向连接，对输入属性图进行增强，以表示潜在的全局图属性。
• 利用列网络架构，通过多类型边和节点属性上的循环消息传递计算节点表示。
• 对虚拟节点的表示应用可微分分类器（如前馈网络），实现端到端图分类。
• 以图级描述符或辅助信息初始化虚拟节点，并通过反向传播端到端训练整个模型。
• 将虚拟节点的最终隐藏状态作为固定大小的图级嵌入，用于下游分类任务。
• 使用带有噪声对比估计的LSTM对源代码中的方法和属性声明序列进行嵌入，以提取特征。

实验结果

研究问题

• RQ1 单个虚拟节点能否有效捕捉未编码在节点属性或局部邻域中的全局图级信息？
• RQ2 将虚拟节点与列网络等深层节点表示模型结合，是否能提升图分类性能？
• RQ3 在涉及化学化合物与软件源代码的图分类任务中，VCN相较于最先进方法表现如何？
• RQ4 虚拟节点机制是否能在包括多类型边与有向边在内的多种图类型上实现泛化？

主要发现

• 在化学化合物的生物活性预测任务中，VCN优于所有基线模型，实现了更高的分类准确率。
• 在软件漏洞检测任务中，VCN在所有对比方法中取得了最高的AUC与F1分数。
• 与仅依赖节点级嵌入或手工特征的模型相比，虚拟节点表示显著提升了性能。
• 该方法在多种图类型上表现稳健，包括具有多类型边与有向边的图，展现出广泛的适用性。
• 消融实验确认，虚拟节点对于捕捉全局图结构至关重要，移除后性能显著下降。