[논문 리뷰] Motif-Driven Contrastive Learning of Graph Representations

Shichang Zhang, Ziniu Hu외 2명|arXiv (Cornell University)|2020. 12. 23.

Advanced Graph Neural Networks참고 문헌 36인용 수 15

한 줄 요약

이 논문은 그래프 수준의 대비 학습을 위한 의미적으로 유의미한 부분그래프를 생성하기 위해 GNN-통합 부분그래프 클러스터링을 통한 미분 가능 모티프 학습을 사용하는 모티프 기반 대비 학습 프레임워크인 MICRO-Graph를 제안한다. 학습된 모티프를 기반으로 부분그래프 샘플링을 유도함으로써, 최신의 자기지도 기반 기준 대비 2.04% 평균 ROC-AUC 향상을 달성한다.

ABSTRACT

Pre-training Graph Neural Networks (GNN) via self-supervised contrastive learning has recently drawn lots of attention. However, most existing works focus on node-level contrastive learning, which cannot capture global graph structure. The key challenge to conducting subgraph-level contrastive learning is to sample informative subgraphs that are semantically meaningful. To solve it, we propose to learn graph motifs, which are frequently-occurring subgraph patterns (e.g. functional groups of molecules), for better subgraph sampling. Our framework MotIf-driven Contrastive leaRning Of Graph representations (MICRO-Graph) can: 1) use GNNs to extract motifs from large graph datasets; 2) leverage learned motifs to sample informative subgraphs for contrastive learning of GNN. We formulate motif learning as a differentiable clustering problem, and adopt EM-clustering to group similar and significant subgraphs into several motifs. Guided by these learned motifs, a sampler is trained to generate more informative subgraphs, and these subgraphs are used to train GNNs through graph-to-subgraph contrastive learning. By pre-training on the ogbg-molhiv dataset with MICRO-Graph, the pre-trained GNN achieves 2.04% ROC-AUC average performance enhancement on various downstream benchmark datasets, which is significantly higher than other state-of-the-art self-supervised learning baselines.

연구 동기 및 목표

• 그래프 신경망에서 부분그래프 수준의 대비 학습을 위한 의미적으로 유의미한 부분그래프를 생성하는 데 도전하는 것.
• 전역 그래프 구조를 포착하지 못하는 노드 수준의 대비 학습의 한계를 극복하는 것.
• 연속적이고 고차원적인 노드 특징을 가진 대규모 그래프로부터 미분 가능 모티프 학습을 가능하게 하는 것.
• 모티프 유도 부분그래프 샘플링과 그래프-부분그래프 대비 학습을 통합함으로써 GNN 사전학습을 향상시키는 것.
• 모티프 기반 부분그래프 생성이 분자 그래프 기준 테스트에서 뛰어난 최종 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 유사한 부분그래프 임베딩을 원형 모티프로 군집화하는 데 사용되는 EM 알고리즘을 활용해 모티프 학습을 미분 가능한 클러스터링 문제로 공식화한다.
• 지능형 GNN 인코더를 통해 부분그래프를 샘플링하고, 연속적 임베딩을 사용해 모티프로 클러스터링함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 학습된 모티프와 구조적·의미적으로 일치하는 부분그래프를 생성하도록 모티프 유도 샘플러를 학습한다.
• 동일한 그래프에서 서로 다른 모티프 유사 부분그래프의 문맥 기반 노드 임베딩을 비교함으로써 그래프-부분그래프 대비 학습을 수행한다.
• 샘플된 부분그래프가 연결되어 있고 구조적으로 일관되게 유지되도록 스펙트럼 정규화를 적용한다.
• 프레임워크는 GNN 아키텍처에 종속되지 않으며, GCN, GIN, DeeperGCN 등 다양한 아키텍처를 지원한다.

실험 결과

연구 질문

• RQ1 미분 가능 모티프 학습이 그래프 표현 학습을 위한 부분그래프 샘플링을 향상시킬 수 있는가?
• RQ2 모티프 유도 부분그래프 생성은 무작위 또는 국소적 샘플링 대비 대비 사전학습 성능을 향상시키는가?
• RQ3 학습된 모티프의 수가 분자 성질 예측에서 최종 성능에 어떤 영향을 미치는가?
• RQ4 모티프 기반 대비 학습은 다양한 GNN 아키텍처에 일반화 가능한가?
• RQ5 문맥 기반 노드 임베딩이 부분그래프 수준의 대비 학습을 얼마나 향상시키는가?

주요 결과

• MICRO-Graph는 비사전학습 GNN 대비 일곱 개의 분자 성질 예측 기준 테스트에서 평균 ROC-AUC 2.04% 향상 달성.
• 모티프 유도 샘플링을 무작위 보행 또는 k-호프 샘플링으로 대체할 경우 성능이 각각 5.64%와 4.99% 감소하여 의미 있는 부분그래프 생성의 중요성을 입증한다.
• 스펙트럼 정규화를 제거하면 성능이 1.82% 감소하여, 이 정규화가 부분그래프의 연결성과 일반화에 기여하는 바를 확인한다.
• 모티프 유사 부분그래프 간의 부분그래프-부분그래프 대비 학습은 그래프-부분그래프 학습보다 성능이 열 劣하나, 이는 다양한 그래프 간의 구조적 유사성으로 인한 오답 쌍의 발생 때문일 것이다.
• GCN, GIN, DeeperGCN 전반에 걸쳐 일관되게 성능 향상을 보이며, DeeperGCN는 표현력이 뛰어나 가장 큰 성능 향상을 보였다.
• 시각화 결과 학습된 모티프가 벤젠 고리나 아세트산기와 같이 화학적으로 의미 있는 기능기를 나타내며, 학습된 패턴의 의미적 관련성을 검증한다.