[论文解读] Graph Matching Networks for Learning the Similarity of Graph Structured Objects

Yujia Li, Chenjie Gu+3 more|arXiv (Cornell University)|Apr 29, 2019

Advanced Graph Neural Networks被引用 234

一句话总结

本文提出图匹配网络（GMN），通过跨图注意力计算图相似性，在图相似性任务中超越基于嵌入的GNN和手工设计的基线，包括基于二进制函数的CFG。

ABSTRACT

This paper addresses the challenging problem of retrieval and matching of graph structured objects, and makes two key contributions. First, we demonstrate how Graph Neural Networks (GNN), which have emerged as an effective model for various supervised prediction problems defined on structured data, can be trained to produce embedding of graphs in vector spaces that enables efficient similarity reasoning. Second, we propose a novel Graph Matching Network model that, given a pair of graphs as input, computes a similarity score between them by jointly reasoning on the pair through a new cross-graph attention-based matching mechanism. We demonstrate the effectiveness of our models on different domains including the challenging problem of control-flow-graph based function similarity search that plays an important role in the detection of vulnerabilities in software systems. The experimental analysis demonstrates that our models are not only able to exploit structure in the context of similarity learning but they can also outperform domain-specific baseline systems that have been carefully hand-engineered for these problems.

研究动机与目标

• 证明GNN能够学习用于相似性推理的图嵌入。
• 引入通过跨图注意力在图对上共同推理的图匹配网络（GMN）。
• 展示GMN在CFG基准的函数相似性、网格检索等跨领域任务中超越手工设计的基线和结构不可知模型。
• 评估嵌入式与匹配式方法在图相似性任务中的效率与权衡。

提出的方法

• 三部分的图嵌入模型：编码器将节点/边特征转换为初始向量；传播层更新节点表示；聚合器形成图向量并计算相似性。
• 图匹配网络（GMN）修改节点更新，包含通过跨图注意力机制在图对之间的匹配向量；跨图注意力权重对齐节点并捕获差异。
• 跨图注意力：a_j->i = exp(s_h(h_i^(t), h_j^(t))) / sum_j' exp(s_h(h_i^(t), h_j'^(t))); mu_j->i = a_j->i (h_i^(t) - h_j^(t)); h_i^(t+1) = f_node(h_i^(t), sum_j m_j->i, sum_j' mu_j'->i).
• 学习信号：成对边距损失 L_pair 和在图嵌入欧氏距离上的三元组损失 L_triplet；可选二进制/海明变体使用 tanh 以实现快速检索。

实验结果

研究问题

• RQ1 GNNs 是否能够为相似性任务产生有效的图嵌入？
• RQ2 跨图注意力机制（GMN）是否优于独立嵌入的相似性判断？
• RQ3 在真实和合成图相似性问题上，嵌入式与匹配式方法的性能权衡如何？
• RQ4 在基于CFG的二值函数相似性和网格检索任务中，GMN 相对于基线的表现如何？

主要发现

• GMNs 在所有任务中持续优于图嵌入模型（GNNs）。
• GMNs 在图相似性设定中优于手工设计基线和 WL-核基线。
• 跨图注意力在图匹配时实现对齐，在不匹配时突出差异，提高对结构/语义变化的敏感性。
• 在图编辑距离代理任务中，GMNs 的对配对 AUC 和三元组准确率高于 GNN 和 WL 核基线。
• 在函数相似性搜索中，GMNs 超越嵌入和 Siamese 变体，展示了早期跨图通信的价值。