[논문 리뷰] Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning

Xiao Wang, Nian Liu외 2명|arXiv (Cornell University)|2021. 05. 19.

Advanced Graph Neural Networks참고 문헌 34인용 수 27

한 줄 요약

HeCo를 소개하는 자가지도 학습 기반 이종 그래프 신경망으로, 네트워크 스키마 및 메타패스 뷰를 가로지르는 뷰 간 대조 학습, 뷰 마스킹 및 하드-네거티브 확장을 사용하여 여러 데이터셋에서 베이스라인보다 성능이 우수합니다.

ABSTRACT

Heterogeneous graph neural networks (HGNNs) as an emerging technique have shown superior capacity of dealing with heterogeneous information network (HIN). However, most HGNNs follow a semi-supervised learning manner, which notably limits their wide use in reality since labels are usually scarce in real applications. Recently, contrastive learning, a self-supervised method, becomes one of the most exciting learning paradigms and shows great potential when there are no labels. In this paper, we study the problem of self-supervised HGNNs and propose a novel co-contrastive learning mechanism for HGNNs, named HeCo. Different from traditional contrastive learning which only focuses on contrasting positive and negative samples, HeCo employs cross-viewcontrastive mechanism. Specifically, two views of a HIN (network schema and meta-path views) are proposed to learn node embeddings, so as to capture both of local and high-order structures simultaneously. Then the cross-view contrastive learning, as well as a view mask mechanism, is proposed, which is able to extract the positive and negative embeddings from two views. This enables the two views to collaboratively supervise each other and finally learn high-level node embeddings. Moreover, two extensions of HeCo are designed to generate harder negative samples with high quality, which further boosts the performance of HeCo. Extensive experiments conducted on a variety of real-world networks show the superior performance of the proposed methods over the state-of-the-arts.

연구 동기 및 목표

• 이종 정보 네트워크(HIN)에서 라벨의 희소성을 해결하기 위해 HGNNs에 대한 자가지도 학습을 가능하게 한다.
• HIN에서 로컬(네트워크 스키마) 및 고차원(메타패스) 구조를 포착하기 위한 교차 뷰 대조 메커니즘을 설계한다.
• 뷰 마스크를 도입하여 뷰 다양성과 뷰 간 협력 감독을 강화한다.
• 대조 학습 성능을 높이기 위한 더 높은 품질의 음수 샘플 생성을 위한 확장을 제공한다.

제안 방법

• HIN의 두 가지 뷰를 정의한다: 네트워크 스키마 뷰와 메타패스 뷰를 구성하고 각 뷰에서 노드 임베딩을 학습한다.
• 타입별 선형 매핑으로 노드 특징을 공통 잠재 공간에 투사한다.
• 네트워크 스키마 뷰 인코더는 이웃 샘플링을 통해 다양성을 제어하면서 다중 타입 이웃을 노드-레벨 및 타입-레벨 어텐션으로 집계한다.
• 메타패스 뷰 인코더는 메타패스 특화 GCN과 의미 레벨 어텐션을 적용하여 다중 메타패스 임베딩을 융합한다.
• 한 뷰의 임베딩을 앵커로 간주하고 다른 뷰의 임베딩을 양성/음수로 취급하는 교차 뷰 대조 손실을 적용하며, 다중 양성 대조 목적과 공유된 MLP 프로젝션을 사용한다.
• 인코딩 중 각 뷰의 일부를 마스킹하여 교차 뷰 다양성을 높이고 상호 보완적 감독을 강제하는 뷰 마스크 메커니즘을 도입한다.
• 음수 샘플의 품질을 높이기 위해 GAN 기반 음수 및 MixUp 영감을 받은 음수와 함께 두 가지 확장인 HeCo_GAN 및 HeCo_MU를 제안하여 학습 효율을 개선한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 상황에서 이종 정보 네트워크(HIN)에 자가지도 학습을 효과적으로 적용할 수 있는가?
• RQ2 네트워크 스키마 뷰와 메타패스 뷰 간의 교차 뷰 대조 학습이 단일 뷰 방법보다 로컬 및 고차원 HIN 구조를 더 잘 포착하는가?
• RQ3 뷰 마스킹, 하드 네거티브 등 어떤 메커니즘이 HGNN에서 대조 신호의 품질과 유용성을 높이는가?
• RQ4 교차 뷰 대조형 접근법이 실제 HIN 데이터셋에서 기존의 비감독 및 반감독 HGNN보다 우수한가?

주요 결과

• HeCo는 다양한 실제 HIN 데이터셋에서 노드 분류를 위한 최첨단 비지도 학습 및 일부 반지도 학습 베이스라인을 지속적으로 능가한다.
• 교차 뷰 학습(네트워크 스키마 대 메타패스)이 단일 뷰 접근법보다 더 구별력 있는 노드 임베딩을 제공하고 노이즈가 많은 단일 뷰 신호를 완화하는 데 도움이 된다.
• 뷰 마스킹은 뷰 다양성을 증가시키고 교차 뷰 감독을 강화하여 더 나은 임베딩을 얻는다.
• 확장인 HeCo_GAN 및 HeCo_MU는 더 높은 품질의 음수를 제공하여 성능을 추가로 향상시킨다.
• 제안된 교차 뷰 대조형 프레임워크는 이종 그래프에 대한 자가지도 학습의 효과를 보여주며 특정 설정에서 라벨 의존 방식보다 우수할 수 있다.