[논문 리뷰] Self-supervised Graph-level Representation Learning with Local and Global Structure

Minghao Xu, Hang Wang외 3명|arXiv (Cornell University)|2021. 06. 08.

Computational Drug Discovery Methods인용 수 28

한 줄 요약

GraphLoG는 온라인 EM 알고리즘과 계층 프로토타입을 사용하여 그래프 표현에서 로컬-인스턴스 유사성과 글로벌-의미 구조를 함께 모델링하는 자기지도 프레임워크를 제안하며 화학 및 생물학 벤치마크에서 강력한 성과를 달성한다.

ABSTRACT

This paper studies unsupervised/self-supervised whole-graph representation learning, which is critical in many tasks such as molecule properties prediction in drug and material discovery. Existing methods mainly focus on preserving the local similarity structure between different graph instances but fail to discover the global semantic structure of the entire data set. In this paper, we propose a unified framework called Local-instance and Global-semantic Learning (GraphLoG) for self-supervised whole-graph representation learning. Specifically, besides preserving the local similarities, GraphLoG introduces the hierarchical prototypes to capture the global semantic clusters. An efficient online expectation-maximization (EM) algorithm is further developed for learning the model. We evaluate GraphLoG by pre-training it on massive unlabeled graphs followed by fine-tuning on downstream tasks. Extensive experiments on both chemical and biological benchmark data sets demonstrate the effectiveness of the proposed approach.

연구 동기 및 목표

• 라벨 데이터가 부족한 비지도 설정에서 전체 그래프 표현 학습의 동기를 부여한다.
• 상관 그래프 및 부분그래프의 임베딩을 정렬하여 로컬-인스턴스 구조를 보존한다.
• 계층 프로토타입으로 글로벌-의미 구조를 포착하여 의미 있는 의미 클러스터를 형성한다.
• GNN 매개변수와 계층 프로토타입을 공동으로 학습하기 위한 온라인 EM 알고리즘을 개발한다.
• 대규모 비표지 그래프에서의 사전 학습 후 다운스트림 재 tuning으로 효과를 입증한다.

제안 방법

• 로컬-인스턴스 구조를 잠재공간에서 그래프/부분그래프 간 페어wise 유사성을 보존하고 상관 페어에 대해 유사성을 최대화하며 음성 샘플과의 대조를 수행한다.
• G와 G′를 생성하기 위해 속성을 마스킹한 상관 그래프/부분그래프 페어를 도입하고 L계층 GNN을 통해 임베딩을 계산한다.
• 계층 프로토타입을 트리 형태로 구성하고 잠재 클러스터를 나타내기 위해 프로토타입 할당 Z를 학습하여 글로벌-의미 구조를 모델링한다.
• 온라인 EM 절차를 사용해 순차적으로 잠재 프로토타입 할당(E-스텝)을 샘플링하고 미니배치 목적함수를 통해 기대완전데이터 가능도(E-스텝) 최대화(M-스텝)를 수행한다.
• 에너지 기반 형식 p(G, z_G|θ, C) ∝ exp(f(h_G, z_G))를 채택하고 Positive를 Negative와 대조하기 위해 Noise-Contrastive Estimation으로 최적화한다.
• 로컬 목표를 가진 GNN를 먼저 사전 학습시키고, K-means로 프로토타입을 초기화한 뒤 미니배치를 사용한 온라인 EM으로 θ와 C를 다운스트림 작업에 맞게 점진적으로 개선한다.

실험 결과

연구 질문

• RQ1 자기지도 학습이 그래프 간의 로컬 유사성과 그래프 집합의 글로벌 의미 구조를 어떻게 모두 포착할 수 있을까?
• RQ2 계층 프로토타입이 대규모 비표지 그래프 수집에서 글로벌 의미 클러스터를 효과적으로 발견하고 refine할 수 있을까?
• RQ3 온라인 EM 프레임워크를 통해 로컬 및 글로벌 목표를 통합하면 그래프 분류/회귀의 다운스트림 성능이 향상될까?
• RQ4 GraphLoG가 대규모 비표지 그래프 데이터에 확장 가능하고 화학 및 생물학 도메인에 전이 가능할까?

주요 결과

Method	BBBP	Tox21	ToxCast	SIDER	ClinTox	MUV	HIV	BACE	Avg
Random	65.8±4.5	74.0±0.8	63.4±0.6	57.3±1.6	58.0±4.4	71.8±2.5	75.3±1.9	70.1±5.4	67.0
EdgePred (2016)	67.3±2.4	76.0±0.6	64.1±0.6	60.4±0.7	64.1±3.7	74.1±2.1	76.3±1.0	79.9±0.9	70.3
InfoGraph (2019)	68.2±0.7	75.5±0.6	63.1±0.3	59.4±1.0	70.5±1.8	75.6±1.2	77.6±0.4	78.9±1.1	71.1
AttrMasking (2019)	64.3±2.8	76.7±0.4	64.2±0.5	61.0±0.7	71.8±4.1	74.7±1.4	77.2±1.1	79.3±1.6	71.1
ContextPred (2019)	68.0±2.0	75.7±0.7	63.9±0.6	60.9±0.6	65.9±3.8	75.8±1.7	77.3±1.0	79.6±1.2	70.9
GraphPartition (2020b)	70.3±0.7	75.2±0.4	63.2±0.3	61.0±0.8	64.2±0.5	75.4±1.7	77.1±0.7	79.6±1.8	70.8
GraphCL (2020a)	69.5±0.5	75.4±0.9	63.8±0.4	60.8±0.7	70.1±1.9	74.5±1.3	77.6±0.9	78.2±1.2	71.3
GraphLoG (ours)	72.5±0.8	75.7±0.5	63.5±0.7	61.2±1.1	76.7±3.3	76.0±1.1	77.8±0.8	83.5±1.2	73.4

• GraphLoG는 화학 분자 특성 벤치마크에서 다수의 기존 자기지도 그래프 방법보다 우수한 성능을 보였으며, 평균 ROC-AUC 73.4를 달성하고 8개 태스크에서 평균 ROC-AUC를 2.1% 상승시켰다(한 보고서의 수치).
• 화학 태스크에서 GraphLoG는 8개의 다운스트림 태스크에서 Avg ROC-AUC 73.4를 달성했고 표 1에서 나열된 baselines 대비 최고 평균을 제공한다.
• 생물학 태스크에서 GraphLoG는 ROC-AUC 72.9를 달성하여 여러 베이스라인보다 우수한 성과를 보였으며 표 2에 보고된다.
• 얼리베이션 및 시각화 분석은 계층 프로토타입을 통한 글로벌 구조 학습의 이점을 시사한다.
• 대량의 비표지 그래프에 대한 GraphLoG 사전 학습 후 다운스트림 태스크에 대한 선형 판별(프로빙)을 수행하면 데이터 라벨이 부족한 설정에서 성능이 향상된다.
• 제안된 온라인 EM 전략은 GNN 매개변수와 계층 프로토타입을 공동 업데이트하여 글로벌 의미 구조의 점진적 발견과 refine를 가능하게 한다.