[논문 리뷰] SimGNN: A Neural Network Approach to Fast Graph Similarity Computation

Yunsheng Bai, Hao Ding외 4명|arXiv (Cornell University)|2018. 08. 16.

Advanced Graph Neural Networks참고 문헌 53인용 수 16

한 줄 요약

SimGNN는 그래프 유사도 계산을 가속화하기 위한 그래프 신경망 기반 접근법을 제안한다. 특히 그래프 편집 거리(GED)에 대해, 기울기 가능하고, 불변하며, 유추 가능한 유사도 함수를 학습함으로써 이를 달성한다. 그래프 수준의 임베딩과 쌍별 노드 수준의 어텐션을 결합하여 빠르고 정확한 예측을 달성하며, 실제 데이터셋에서 기존의 근사 알고리즘과 GNN 기반 베이스라인 대비 속도와 오차율에서 뛰어난 성능을 보였다.

ABSTRACT

Graph similarity search is among the most important graph-based applications, e.g. finding the chemical compounds that are most similar to a query compound. Graph similarity computation, such as Graph Edit Distance (GED) and Maximum Common Subgraph (MCS), is the core operation of graph similarity search and many other applications, but very costly to compute in practice. Inspired by the recent success of neural network approaches to several graph applications, such as node or graph classification, we propose a novel neural network based approach to address this classic yet challenging graph problem, aiming to alleviate the computational burden while preserving a good performance. The proposed approach, called SimGNN, combines two strategies. First, we design a learnable embedding function that maps every graph into a vector, which provides a global summary of a graph. A novel attention mechanism is proposed to emphasize the important nodes with respect to a specific similarity metric. Second, we design a pairwise node comparison method to supplement the graph-level embeddings with fine-grained node-level information. Our model achieves better generalization on unseen graphs, and in the worst case runs in quadratic time with respect to the number of nodes in two graphs. Taking GED computation as an example, experimental results on three real graph datasets demonstrate the effectiveness and efficiency of our approach. Specifically, our model achieves smaller error rate and great time reduction compared against a series of baselines, including several approximation algorithms on GED computation, and many existing graph neural network based models. To the best of our knowledge, we are among the first to adopt neural networks to explicitly model the similarity between two graphs, and provide a new direction for future research on graph similarity computation and graph similarity search.

연구 동기 및 목표

• 정확한 그래프 유사도 계산, 특히 NP-완전한 그래프 편집 거리(GED)의 높은 계산 비용을 해결하기 위해.
• 효율적으로 그래프 간의 유사도 점수를 예측할 수 있는 학습 가능한, 기울기 가능한 함수를 개발하기 위해.
• 모델이 새로운 그래프에 일반화되고 노드 순열에 대해 불변성을 유지하도록 보장하기 위해.
• 정확도 향상을 위해 글로벌 그래프 수준의 임베딩과 세밀한 노드 수준의 비교를 결합하기 위해.
• GED 및 유사한 메트릭에 대해 조합적 근사 알고리즘의 확장 가능한 대안을 제공하기 위해.

제안 방법

• 각 그래프를 고정된 크기의 벡터로 매핑하는 데 사용되는 GNN를 활용한 학습 가능한 그래프 임베딩 함수를 설계하여 구조적 정보를 유지한다.
• 목표 유사도 메트릭에 가장 관련성이 높은 노드에 초점을 맞추는 새로운 어텐션 메커니즘을 도입하여 표현 품질을 향상시킨다.
• 두 그래프 간의 노드 수준에서의 유사도를 계산하는 쌍별 노드 비교 모듈을 구현하여 글로벌 임베딩을 보완한다.
• 예측 오차를 최소화하기 위해 그래프 쌍과 그 진짜 유사도 점수(예: 정확한 GED)를 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 대칭적 집계와 어텐션을 통해 노드 순열에 대해 불변성을 확보하여 표현의 불변성을 보장한다.
• 두 그래프를 동시에 처리하고 단일 유사도 점수를 출력하는 시아미즈 유사 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 깊이 신경망이 높은 정확도와 낮은 추론 시간으로 그래프 유사도 점수를 효과적으로 예측할 수 있는가?
• RQ2 제한된 수의 정확한 GED 계산만으로 훈련된 GNN 기반 모델이 새로운 그래프에 대해 얼마나 잘 일반화되는가?
• RQ3 글로벌 그래프 임베딩과 국소적 노드 수준의 비교를 함께 통합할 경우, 글로벌 임베딩만 사용할 때보다 성능 향상이 얼마나 이루어지는가?
• RQ4 어떤 방식으로 어텐션 메커니즘이 구조적으로 중요한 노드에 집중함으로써 모델 성능을 향상시키는가?
• RQ5 기존의 GED 근사 알고리즘 대비 속도와 정확도의 균형을 더 잘 달성할 수 있는가?

주요 결과

• SimGNN는 세 가지 실세계 데이터셋에서 그래프 편집 거리(GED)에 대해 다수의 기준 근사 알고리즘 대비 유의미하게 낮은 오차율을 기록했다.
• 정확한 GED 계산 대비 계산 시간을 수개의 지수 단위로 줄였으며, 최신의 근사 방법보다도 빠른 속도를 기록했다.
• 평균적으로 SimGNN는 두 그래프의 노드 수에 대해 제곱 시간 복잡도를 가지며, 중간 크기의 그래프에 대해 확장 가능하다.
• 훈련 데이터로 작은 그래프만 사용했음에도 불구하고, 새로운 그래프에 대해 잘 일반화되며 강력한 유추 편향을 보였다.
• 어텐션 메커니즘이 구조적으로 중요한 노드에 집중함으로써 모델의 관련된 그래프 차이에 대한 민감도를 향상시켜 성능을 향상시켰다.
• 그래프 수준의 임베딩과 쌍별 노드 비교의 조합은 각각을 별도로 사용할 때보다 더 나은 성능을 내었다.