[논문 리뷰] Graph Contrastive Learning with Augmentations

Yuning You, Tianlong Chen외 4명|arXiv (Cornell University)|2020. 10. 22.

Advanced Graph Neural Networks참고 문헌 71인용 수 863

한 줄 요약

GraphCL은 그래프 수준 데이터 증강과 GNN 사전 학습을 위한 대조 학습 프레임워크를 도입하여 여러 그래프 데이터셋에서 반지도 학습, 비지도, 전이 학습, 적대적 강건성에 걸쳐 최신 성과를 달성합니다.

ABSTRACT

Generalizable, transferrable, and robust representation learning on graph-structured data remains a challenge for current graph neural networks (GNNs). Unlike what has been developed for convolutional neural networks (CNNs) for image data, self-supervised learning and pre-training are less explored for GNNs. In this paper, we propose a graph contrastive learning (GraphCL) framework for learning unsupervised representations of graph data. We first design four types of graph augmentations to incorporate various priors. We then systematically study the impact of various combinations of graph augmentations on multiple datasets, in four different settings: semi-supervised, unsupervised, and transfer learning as well as adversarial attacks. The results show that, even without tuning augmentation extents nor using sophisticated GNN architectures, our GraphCL framework can produce graph representations of similar or better generalizability, transferrability, and robustness compared to state-of-the-art methods. We also investigate the impact of parameterized graph augmentation extents and patterns, and observe further performance gains in preliminary experiments. Our codes are available at https://github.com/Shen-Lab/GraphCL.

연구 동기 및 목표

• 그래프 신경망의 일반화 및 다양한 그래프 유형 간의 전이 향상을 목표로 사전 학습을 동기화합니다.
• 도메인 priors를 인코딩하고 견고한 대조 학습을 가능하게 하는 네 가지 그래프 데이터 증강을 설계합니다.
• GraphCL을 제안하여 증강된 뷰 간의 일치를 최대화함으로써 불변 그래프 표현을 학습합니다.
• 실용적 사용을 안내하기 위해 데이터셋과 태스크 설정에 따른 증강의 효과를 체계적으로 연구합니다.

제안 방법

• 네 가지 그래프 데이터 증강(노드 삭제, 간선 섭동, 속성 마스킹, 서브그래프 샘플링)을 제안합니다.
• 공유 GNN 인코더 f와 투영 헤드 g를 사용하여 증강된 그래프를 표현으로 매핑합니다.
• NT-Xent 대조 손실을 적용하여 같은 그래프의 두 증강 뷰 간의 일치를 최대화합니다.
• GraphCL은 증강된 그래프의 잠재 표현 간의 상호 정보 극대화 목표에 해당함을 보여줍니다.
• GraphCL이 일반 프레임워크 하에 광범위한 그래프 대비 학습 방법을 통합할 수 있음을 시연합니다.

실험 결과

연구 질문

• RQ1 다양한 그래프 증강 유형과 그 구성이 그래프의 대조 학습에 어떤 영향을 미치는가?
• RQ2 GraphCL 프레임워크가 GNN의 기존 사전 학습 방법보다 더 나은 일반화 및 전이성을 달성할 수 있는가?
• RQ3 증강 강도와 패턴이 생화학적, 사회적, 이미지 기반 그래프 등 그래프 도메인에서 다운스트림 성능에 미치는 영향은 무엇인가?
• RQ4 GraphCL이 적대적 섭동에 대한 GNN의 강건성을 향상시키는가?

주요 결과

• 그래프 증강은 결정적이며, 증강 없이 그래프 대조 학습은 무에서 벤치마크의 성능 향상 없이 훈련하는 것과 다르다.
• 다양한 유형의 증강을 조합하는 것이 단일 유형을 사용하는 것보다 일반적으로 성능을 더 향상시킨다.
• 간선 섭동은 사회 네트워크에 도움이 되지만 일부 생체 분자 데이터셋에는 해로울 수 있어 도메인별 priors의 중요성을 시사한다.
• 속성 마스킹 및 노드 삭제/서브그래프 증강은 일관된 이익을 제공하며, 밀집 그래프에서 허브를 마스킹하는 패턴은 결과를 더욱 개선한다.
• GraphCL은 여러 그래프 분류 벤치마크에서 반지도 학습, 비지도 표현 학습, 전이 학습에서 최신 성능을 달성한다.
• GraphCL은 또한 무에서 학습보다 적대적 공격에 대한 강건성을 높인다.