[논문 리뷰] CoSimGNN: Towards Large-scale Graph Similarity Computation

Haoyan Xu, Runjian Chen외 3명|arXiv (Cornell University)|2020. 05. 14.

Advanced Graph Neural Networks참고 문헌 32인용 수 4

한 줄 요약

CoSimGNN는 대규모 그래프 유사성 계산을 위한 새로운 '임베딩-코arsening-매칭' 프레임워크를 제안한다. 적응형 그래프 풀링을 활용해 그래프를 코arsening하고, 세밀한 크로스그래프 어텐션을 통해 효율적이고 정확한 유사성 스코어링을 구현한다. 200개 노드까지의 대규모 그래프에서 이전 방법 대비 최대 3배 빠른 추론 시간을 기록하며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The ability to compute similarity scores between graphs based on metrics such as Graph Edit Distance (GED) is important in many real-world applications. Computing exact GED values is typically an NP-hard problem and traditional algorithms usually achieve an unsatisfactory trade-off between accuracy and efficiency. Recently, Graph Neural Networks (GNNs) provide a data-driven solution for this task, which is more efficient while maintaining prediction accuracy in small graph (around 10 nodes per graph) similarity computation. Existing GNN-based methods, which either respectively embeds two graphs (lack of low-level cross-graph interactions) or deploy cross-graph interactions for whole graph pairs (redundant and time-consuming), are still not able to achieve competitive results when the number of nodes in graphs increases. In this paper, we focus on similarity computation for large-scale graphs and propose the "embedding-coarsening-matching" framework CoSimGNN, which first embeds and coarsens large graphs with adaptive pooling operation and then deploys fine-grained interactions on the coarsened graphs for final similarity scores. Furthermore, we create several synthetic datasets which provide new benchmarks for graph similarity computation. Detailed experiments on both synthetic and real-world datasets have been conducted and CoSimGNN achieves the best performance while the inference time is at most 1/3 of that of previous state-of-the-art.

연구 동기 및 목표

• 대규모 그래프 유사성 계산에서 효율성과 정확성의 균형을 맞추는 데 있어 기존 방법들이 NP-완전 복잡도 또는 높은 계산 비용을 겪는 중요한 과제를 해결한다.
• 기존 GNN 기반 모델의 한계를 극복한다: 임베딩 모델은 크로스그래프 상호작용이 부족하고, 매칭 모델은 쌍방향 노드 상호작용으로 인해 2차 시간 복잡도를 가지는 문제가 있다.
• 100~200개 노드의 대규모 그래프에서 계층적이고 세밀한 구조적 차이를 속도를 저하시키지 않고도 효과적으로 포착할 수 있는 확장 가능한 프레임워크를 개발한다.
• 대규모 그래프 유사성 작업을 위한 정확한 기준값으로서의 그래프 에디트 거리(GED) 레이블을 가진 새로운 고품질의 합성 및 실세계 기반 벤치마크를 구축한다.
• 생물정보학 및 소셜 네트워크 분석과 같은 실세계 도메인에서 그래프 유사성 검색의 실용적 구현을 가능하게 하기 위해 추론 시간을 단축하면서도 높은 정확도를 유지한다.

제안 방법

• 세 단계 프레임워크 제안: (1) GNN를 통한 그래프 인코딩으로 노드 표현을 학습하고, (2) 구조적 정보를 유지하면서 그래프 크기를 줄이는 학습 가능한 풀링 레이어를 활용한 적응형 그래프 코arsening, (3) 코어스닝된 그래프 간의 상호어텐션 모듈을 통한 세밀한 크로스그래프 매칭.
• 고정된, 그래프에 특화되지 않은 중심점(centroid)을 사용하는 기존 풀링 방법과는 달리, 각 그래프에 맞게 동적으로 클러스터 중심점을 학습하는 적응형 풀링 메커니즘 도입.
• 코어스닝된 그래프의 대응하는 노드 간에 저수준의 노드 단위 어텐션을 가능하게 하는 크로스그래프 상호어텐션 모듈(M) 설계로 미세한 구조적 차이를 포착한다.
• 매칭 단계에서 노드 특징(X), 노드 중요도(I), 크로스그래프 어텐션(M)의 세 구성 요소를 통합하고, 제거 실험을 통해 각 요소의 개별 및 병합 기여도를 확인한다.
• 구조적 변형을 통제할 수 있는 유도 그래프 생성 기법을 활용해 구조적 변형과 정확한 기준값 GED 레이블을 가진 합성 데이터셋(BA-60, BA-100, BA-200)을 구축한다.
• 대규모 그래프에서 정확한 GED 계산이 불가능한 상황를 고려해, 부분 지수적 근사 알고리즘과 최소 커파이팅 단계 검증을 통해 더 신뢰할 수 있는 GED 레이블을 확보한다.

실험 결과

연구 질문

• RQ1 100개 노드를 초과하는 대규모 그래프에서 GNN 기반 프레임워크가 높은 정확도와 효율성을 동시에 달성할 수 있는가?
• RQ2 고정 풀링 또는 엔드 투 엔드 임베딩 대비 적응형 그래프 코어스닝이 대규모 그래프에서 계층적 및 국소적 구조적 특징을 어떻게 향상시키는가?
• RQ3 글로벌 그래프 수준의 임베딩 또는 더粗모한 상호작용에 비해 세밀한 크로스그래프 어텐션 메커니즘이 얼마나 더 유사성 예측 성능을 향상시키는가?
• RQ4 정확한 기준값 GED 레이블을 가진 합성 데이터셋이 대규모 그래프 유사성 벤치마크에 효과적으로 활용될 수 있는가, 그리고 어떻게 모델 평가를 향상시키는가?
• RQ5 매칭 단계의 아키텍처 구성 요소(X, I, M)가 최종 성능에 미치는 영향은 무엇이며, 어떤 구성 요소가 정확도 향상에 가장 기여하는가?

주요 결과

• CoSimGNN는 합성 및 실세계 데이터셋 모두에서 최고의 성능을 기록하며, BA-200 분류 작업에서 99.75%의 정확도를 달성하여 GCN-Mean, GCN-Max, GSimCNN, CoSim-Mem 등 모든 베이스라인을 압도한다.
• COIL-DEL 데이터셋에서 CoSimGNN는 88.30%의 정확도를 기록하여 두 번째로 좋은 성능을 낸 CoSim-Mem(83.85%)보다 뚜렷하게 뛰어나며, 실세계 데이터에 대한 강력한 일반화 능력을 입증한다.
• GED 회귀 과제에서 CoSimGNN는 BA-200 데이터셋에서 MSE 0.95와 MAE 22.06을 기록하여 다른 모델 대비 뛰어난 회귀 정확도를 보였다.
• 제거 실험 결과, 매칭 단계의 모든 구성 요소(X, I, M)가 필수적임을 확인했으며, 특히 크로스그래프 상호어텐션 모듈(M)이 성능 향상에 가장 기여함을 입증했다. M을 제거할 경우 정확도 저하가 가장 크게 발생한다.
• CoSimGNN의 추론 시간은 이전 최신 기술 수준 대비 최대 1/3 수준으로 매우 효율적이며, 수백 개의 그래프를 포함한 데이터베이스에서의 대규모 유사성 검색에 매우 적합하다.
• 제안된 합성 데이터셋(BA-60, BA-100, BA-200)은 이전까지 대규모 그래프에 대해 가용하지 않았던 신뢰할 수 있고 정확한 GED 레이블을 제공하여, 대규모 그래프 유사성 분야의 강력한 벤치마크와 향후 연구를 가능하게 한다.