[논문 리뷰] CGMN: A Contrastive Graph Matching Network for Self-Supervised Graph Similarity Learning

Di Jin, Luzhi Wang외 5명|arXiv (Cornell University)|2022. 05. 30.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 교차 뷰 및 교차 그래프 상호작용을 활용하여 노드 표현 학습을 향상시키는 자기지도 그래프 유사도 학습을 위한 대비 그래프 매칭 네트워크인 CGMN을 제안한다. 증강된 뷰를 생성하고 노드 수준 및 그래프 수준 표현을 공동으로 최적화함으로써, CGMN은 Aids700nef 및 BSD 데이터셋을 포함한 여러 벤치마크에서 기존의 비지도 및 지도 학습 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph similarity learning refers to calculating the similarity score between two graphs, which is required in many realistic applications, such as visual tracking, graph classification, and collaborative filtering. As most of the existing graph neural networks yield effective graph representations of a single graph, little effort has been made for jointly learning two graph representations and calculating their similarity score. In addition, existing unsupervised graph similarity learning methods are mainly clustering-based, which ignores the valuable information embodied in graph pairs. To this end, we propose a contrastive graph matching network (CGMN) for self-supervised graph similarity learning in order to calculate the similarity between any two input graph objects. Specifically, we generate two augmented views for each graph in a pair respectively. Then, we employ two strategies, namely cross-view interaction and cross-graph interaction, for effective node representation learning. The former is resorted to strengthen the consistency of node representations in two views. The latter is utilized to identify node differences between different graphs. Finally, we transform node representations into graph-level representations via pooling operations for graph similarity computation. We have evaluated CGMN on eight real-world datasets, and the experiment results show that the proposed new approach is superior to the state-of-the-art methods in graph similarity learning downstream tasks.

연구 동기 및 목표

• 통합 그래프 표현 학습 및 유사도 점수 부여를 위한 자기지도 방법의 부족을 해결하기 위해.
• 클러스터링 기반 비지도 방법의 한계를 극복하기 위해 서로 다른 그래프 간의 노드 매칭을 忽시하고 수동으로 클러스터 수를 선택해야 하는 문제를 해결하기 위해.
• 증강된 뷰 간의 노드 표현 일관성을 향상시키고 상호 그래프 간의 차이를 포착하는 대비 학습 프레임워크를 설계하기 위해.
• 비용이 많이 드는 진짜 레이블에 의존하지 않고도 높은 성능의 그래프 유사도 예측을 달성하기 위해.

제안 방법

• CGMN은 쌍의 두 그래프를 처리하기 위해 시아미즈 GNN 아키텍처를 사용한다.
• 각 그래프에 대해 두 개의 증강된 뷰를 생성하여 대비 학습을 위한 다양한 맥락을 제공한다.
• 교차 뷰 상호작용을 통해 동일한 그래프의 두 뷰 간에 노드 표현의 일관성을 강제한다.
• 교차 그래프 상호작용을 통해 서로 다른 그래프의 대응 노드 간에 노드 매칭을 가능하게 하여 구조적 및 특징적 차이를 포착한다.
• 정련된 노드 임베딩에 풀링 연산을 적용하여 그래프 수준의 표현을 유도하고 최종 유사도 계산을 수행한다.
• 양성 그래프 쌍 간의 일치를 최대화하고 부정성 쌍 간의 일치를 최소화하기 위해 대비 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 유사도 점수에 의존하지 않고도 자기지도 프레임워크가 효과적으로 그래프 유사도를 학습할 수 있는가?
• RQ2 교차 뷰 및 교차 그래프 상호작용은 노드 및 그래프 표현 학습 향상에 어떻게 기여하는가?
• RQ3 제안된 대비 학습 전략은 클러스터링 기반 비지도 방법보다 그래프 유사도 작업에서 더 나은 성능을 내는가?
• RQ4 증강 과정에서 특성 마스킹 및 엣지 제거 확률과 같은 하이퍼파rameter에 모델 성능이 얼마나 민감한가?

주요 결과

• Aids700nef 데이터셋에서 CGMN은 MSE 6.641×10⁻³을 기록하여 다음으로 우수한 방법보다 상대적 향상률 24.13%를 달성했다.
• Linux1000 데이터셋에서 CGMN은 지도 학습 모델 대비 MSE를 12.28% 향상시키고 비지도 기반 모델 대비 21.67% 향상시켰다.
• BSD 작업에서 CGMN은 여섯 개의 모든 데이터셋에서 가장 높은 AUC 점수를 기록했으며, 기존의 비지도 방법들보다 일관되게 뛰어난 성능을 보였다.
• 절단 연구 결과, 교차 뷰 또는 교차 그래프 상호작용을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여 두 구성 요소의 필수성을 입증했다.
• 하이퍼파rameter 민감도 분석 결과, 과도한 증강(예: 10% 이상의 특성 마스킹 또는 엣지 제거)은 구조적 왜곡으로 이어져 성능을 떨어뜨림을 확인했다.
• 모델은 새로운 테스트 그래프로도 잘 일반화되어 있으며, 그래프 유사도 예측에서 강력한 제로샷 전이 성능을 보였다.