[논문 리뷰] Efficient Graph Similarity Computation with Alignment Regularization

Wei Zhuo, Guang Tan|arXiv (Cornell University)|2024. 06. 21.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

ERIC는 Alignment Regularization(AReg)을 도입하여 GED 추정을 위한 그래프 정렬을 학습하는 GNN 인코더를 훈련시키고, 테스트 시 그래프 간 매칭을 제거하여 추론을 더 빠르게 하며 GED 예측 정확도를 높이기 위해 다중 스케일 GED 판별기를 결합한다.

ABSTRACT

We consider the graph similarity computation (GSC) task based on graph edit distance (GED) estimation. State-of-the-art methods treat GSC as a learning-based prediction task using Graph Neural Networks (GNNs). To capture fine-grained interactions between pair-wise graphs, these methods mostly contain a node-level matching module in the end-to-end learning pipeline, which causes high computational costs in both the training and inference stages. We show that the expensive node-to-node matching module is not necessary for GSC, and high-quality learning can be attained with a simple yet powerful regularization technique, which we call the Alignment Regularization (AReg). In the training stage, the AReg term imposes a node-graph correspondence constraint on the GNN encoder. In the inference stage, the graph-level representations learned by the GNN encoder are directly used to compute the similarity score without using AReg again to speed up inference. We further propose a multi-scale GED discriminator to enhance the expressive ability of the learned representations. Extensive experiments on real-world datasets demonstrate the effectiveness, efficiency and transferability of our approach.

연구 동기 및 목표

• GED 추정을 통해 효율적인 그래프 유사도 계산(GSC)을 동기 부여하고 엔드-투-엔드 GNN 기반 GSC 모델에서 노드 간 매칭의 높은 비용을 해결한다.
• 추론 시 교차 그래프 매칭을 필요로 하지 않도록 훈련 중에 노드-그래프 정렬을 강제하는 Alignment Regularization(AReg)을 제안한다.
• GED 예측을 위한 표현력 향상을 위해 다중 스케일 GED 판별기를 도입한다.
• 학습된 그래프 수준 표현이 매칭 모듈 없이 빠른 추론을 가능하게 함을 보여준다.
• 실제 데이터셋에서 최첨단 성능, 효율성 및 전이 가능성에 대한 실증적 증거를 제시한다.

제안 방법

• GED를 최적 정렬 문제로 공식화하고 최상의 순열에서의 필요한 조건을 도출하여 표현 학습을 안내한다.
• AReg를 GIN 기반 인코더와 순열 불변 리드아웃(DeepSets)을 사용한 정규화 항으로 정의하여 정렬 인식 임베딩을 촉진한다.
• 한 쌍의 두 그래프에 대해 공유된 GNN 인코더를 사용하고 다중 계층(다중 스케일)에서 AReg을 적용하여 노드 수준 및 그래프 수준의 정렬 신호를 포착한다.
• 다중 스케일 GED 판별기를 사용하며 구성은: (i) 가중치를 분해한 Neural Tensor Network(NTN)을 이용한 교차 그래프 상호작용 모델링, 그리고 (ii) 추가적인 지수적 Minkowski(ell-2) 거리 판별기; 최종 점수는 두 가지의 가중 합이다.
• 실제 GED 유도 유사도에 대한 회귀 손실에 AReg 손실을 보강하여 GED 예측기를 학습한다; 추론 시 AReg 구성요소를 제거하고 학습된 그래프 표현에서 직접 유사도를 계산한다.
• 학습 시간에 GIN 및 판별기 비용이 포함된 복잡도 분석을 제공하되, 추론은 테스트 시간에 교차 그래프 상호작용이 계산되지 않으므로 더 빠르다.

Figure 1 : Illustration of separating the matching model from the end-to-end GSC framework to achieve a fast model (right side). In the fast model, the dotted arrow means the matching model does not participate in the similarity computation in the inference stage.

실험 결과

연구 질문

• RQ1 추론 시 비용이 큰 교차 그래프 노드 매칭 없이 Alignment Regularization이 GED 기반 그래프 유사도 추정을 정확하게 가능하게 할 수 있는가?
• RQ2 다중 스케일 GED 판별기를 AReg와 결합하는 것이 단일 판별기나 무 정규화 기준선에 비해 판별력과 예측 정확도를 향상시키는가?
• RQ3 다른 GSC 모델에 적용할 때 AReg의 이점이 ERIC에서 얼마나 잘 전이되는가?
• RQ4 최신 기준선과 비교할 때 추론 시 ERIC의 계산 효율성 이득은 어느 정도인가?
• RQ5 ERIC는 거리/판별기 유형의 선택 및 Minkowski 매개변수 p에 대해 얼마나 민감한가?

주요 결과

데이터셋	MSE_AIDS700	Rho_AIDS700	Tau_AIDS700	p@10_AIDS700	p@20_AIDS700	MSE_LINUX	Rho_LINUX	Tau_LINUX	p@10_LINUX	p@20_LINUX	MSE_IMDB	Rho_IMDB	Tau_IMDB	p@10_IMDB	p@20_IMDB	MSE_NCI109	Rho_NCI109	Tau_NCI109	p@10_NCI109	p@20_NCI109
ERIC	1.383	0.906	0.740	0.679	0.746	0.113	0.988	0.908	0.994	0.996	0.385	0.890	0.791	0.882	0.891	0.113	0.988	0.994	0.996

• ERIC은 여러 GSC 벤치마크(AIDS700, LINUX, IMDB, NCI109)에서 MSE, 순위 상관계수(rho, tau), 그리고 상위 k 정밀도에서 최첨단 성능을 달성한다.
• AReg은 성능을 향상시키고, 이를 제거하면 데이터셋 전반에서 MSE, rho, tau 및 p@k 지표가 저하된다.
• NTN 기반 판별기와 ell-2 거리 판별기 모두 성능에 기여하며, 어느 하나를 제거하면 효과가 감소하고 NTN이 더 큰 이점을 제공한다.
• ERIC의 추론 시간은 교차 그래프 매칭이 테스트 시 사용되지 않기 때문에 모든 기준선보다 현저히 빠르며 정확도은 유지 또는 향상된다.
• AReg은 SimGNN과 EGSC에 그들의 손실 함수와 결합하여 개선을 보이며 모델에 구애받지 않는 유용성을 시사한다.
• 시각화 및 어블레이션 연구는 ERIC의 인코더가 GED와 상관관계가 있는 노드-그래프 정렬 신호를 학습한다는 것을 보여주며, 이는 정렬 기반 규제의 합치를 뒷받침한다.

Figure 2 : The optimal edit path with 3 edit operations to transform $G_{i}$ to $G_{j}$ . As a result, $\mathrm{GED}(G_{i},G_{j})=3$ .