[논문 리뷰] Graph Matching Networks for Learning the Similarity of Graph Structured Objects

Yujia Li, Chenjie Gu외 3명|arXiv (Cornell University)|2019. 04. 29.

Advanced Graph Neural Networks인용 수 234

한 줄 요약

논문은 교차 그래프 주의(attention)를 통해 그래프 유사성을 계산하는 Graph Matching Networks(GMN)를 도입하여, 이진 함수 CFG를 포함한 그래프 유사성 작업에서 임베딩 기반 GNN 및 수작업 baselines를 능가합니다.

ABSTRACT

This paper addresses the challenging problem of retrieval and matching of graph structured objects, and makes two key contributions. First, we demonstrate how Graph Neural Networks (GNN), which have emerged as an effective model for various supervised prediction problems defined on structured data, can be trained to produce embedding of graphs in vector spaces that enables efficient similarity reasoning. Second, we propose a novel Graph Matching Network model that, given a pair of graphs as input, computes a similarity score between them by jointly reasoning on the pair through a new cross-graph attention-based matching mechanism. We demonstrate the effectiveness of our models on different domains including the challenging problem of control-flow-graph based function similarity search that plays an important role in the detection of vulnerabilities in software systems. The experimental analysis demonstrates that our models are not only able to exploit structure in the context of similarity learning but they can also outperform domain-specific baseline systems that have been carefully hand-engineered for these problems.

연구 동기 및 목표

• GNN이 유사성 추론을 위한 그래프 임베딩을 학습할 수 있음을 시연한다.
• 교차 그래프 어텐션을 통해 그래프 쌍에 대해 공동으로 추론하는 Graph Matching Networks를 도입한다.
• CFG 기반 함수 유사성 및 메시(mesh) 검색 등과 같은 도메인에서 GMN이 수작업으로 설계된 기준선 및 구조 비의존 모델을 능가함을 보인다.
• 그래프 유사성 작업에서 임베딩 기반 접근과 매칭 기반 접근 간의 효율성과 트레이드오프를 평가한다.

제안 방법

• 세 부분으로 구성된 그래프 임베딩 모델: 인코더가 노드/간선 특징을 초기 벡터로 변환; 전파 계층이 노드 표현을 업데이트; 애그리게이터가 그래프 벡터를 형성하고 유사성을 계산한다.
• Graph Matching Networks(GMNs)는 그래프 쌍 간의 어텐션 기반 메커니즘을 통해 교차 그래프 매칭 벡터를 포함하도록 노드 업데이트를 수정하며, 그래프 쌍 간의 어텐션 가중치는 노드의 정렬을 맞추고 차이점을 포착한다.
• 교차 그래프 어텐션: a_j->i = exp(s_h(h_i^(t), h_j^(t))) / sum_j' exp(s_h(h_i^(t), h_j'^(t))); mu_j->i = a_j->i (h_i^(t) - h_j^(t)); h_i^(t+1) = f_node(h_i^(t), sum_j m_j->i, sum_j' mu_j'->i).
• 학습 신호: 그래프 임베딩 간의 유클리드 거리에서 페어와트 마진 손실 L_pair 및 트리플릿 손실 L_triplet; 빠른 검색을 위한 tanh를 사용한 이진/해밍 변형도 옵션으로 제공.

실험 결과

연구 질문

• RQ1 GNN이 유사성 작업을 위한 효과적인 그래프 임베딩을 생성할 수 있나?
• RQ2 교차 그래프 어텐션 메커니즘(GMN)이 독립적 임베딩보다 유사성 판단을 개선하나?
• RQ3 임베딩 기반 및 매칭 기반 접근의 실제 및 합성 그래프 유사성 문제에서의 성능 트레이드오프는 어떠한가?
• RQ4 GMN은 baselines와 비교하여 CFG 기반 이진 함수 유사성 및 메시 검색에서 어떤 성능을 보이나?

주요 결과

• GMN은 그래프 임베딩 모델(GNN)을 능가하는 경향이 있다.
• GMN은 그래프 유사성 설정에서 수작업으로 설계된 기준선과 WL-커널 기준선을 능가한다.
• 교차 그래프 어텐션은 그래프가 일치할 때 정렬을 가능하게 하고 다를 때 차이점을 부각시켜 구조적/의미적 변화에 대한 민감도를 향상시킨다.
• 그래프 편집 거리 프록시 태스크에서 GMN은 GNN 및 WL 커널 기준선보다 더 높은 쌍 AUC와 트리플릿 정확도를 달성한다.
• 함수 유사성 검색에서 GMN은 임베딩 및 시암쌀(Siamese) 변형을 능가하여 초기 교차 그래프 커뮤니케이션의 가치를 보여준다.