[논문 리뷰] Self-supervised Graph Neural Networks without explicit negative sampling

Zekarias T. Kefato, Šarūnas Girdzijauskas|arXiv (Cornell University)|2021. 03. 27.

Advanced Graph Neural Networks참고 문헌 31인용 수 10

한 줄 요약

SelfGNN는 배치 정규화를 통해 암시적으로 대조 항목을 도입함으로써 명시적 음성 샘플링을 제거하는 자기지도 학습 그래프 신경망을 제안한다. 이는 성능에 비해 상위의 정점 구조적 증강 기법과 유사한 성능을 보이며 O(N³) 계산 복잡도를 피하는 네 가지 효율적인 특징 증강 기법을 도입한다. 이로 인해 일곱 개인 실세계 데이터셋에서 지도 학습 GNN과 비교할 만한 최신 기술 성능을 달성한다.

ABSTRACT

Real world data is mostly unlabeled or only few instances are labeled. Manually labeling data is a very expensive and daunting task. This calls for unsupervised learning techniques that are powerful enough to achieve comparable results as semi-supervised/supervised techniques. Contrastive self-supervised learning has emerged as a powerful direction, in some cases outperforming supervised techniques. In this study, we propose, SelfGNN, a novel contrastive self-supervised graph neural network (GNN) without relying on explicit contrastive terms. We leverage Batch Normalization, which introduces implicit contrastive terms, without sacrificing performance. Furthermore, as data augmentation is key in contrastive learning, we introduce four feature augmentation (FA) techniques for graphs. Though graph topological augmentation (TA) is commonly used, our empirical findings show that FA perform as good as TA. Moreover, FA incurs no computational overhead, unlike TA, which often has O(N^3) time complexity, N-number of nodes. Our empirical evaluation on seven publicly available real-world data shows that, SelfGNN is powerful and leads to a performance comparable with SOTA supervised GNNs and always better than SOTA semi-supervised and unsupervised GNNs. The source code is available at https://github.com/zekarias-tilahun/SelfGNN.

연구 동기 및 목표

• 대조 자기지도 학습 그래프 학습에서 명시적 음성 샘플링의 높은 계산 비용과 복잡성을 해결하기 위해.
• 배치 정규화를 통한 암시적 대조 항목이 GNN에서 명시적 음성 샘플링을 대체할 수 있는지 탐색하기 위해.
• 정점 구조적 증강의 O(N³) 복잡도를 피하는 경량이고 효율적인 특징 증강 기법을 개발하기 위해.
• 라벨이 없는 데이터만을 사용하여 지도 학습 GNN과 비교할 만한 성능을 달성하기 위해.
• 명시적 대조 항목이 없이도 기존 준지도 및 비지도 기반 베이스라인을 초월할 수 있는 자기지도 학습 GNN이 가능한지 입증하기 위해.

제안 방법

• SelfGNN는 동일한 그래프의 두 개의 증강된 뷰로부터 표현을 학습하기 위해 공유 가중치를 가진 시아미즈 유사 이중 GNN 아키텍처를 사용한다.
• 명시적 음성 샘플링이 필요 없도록 배치 정규화에 의존하여 암시적으로 음성 샘플을 생성한다.
• 네 가지 특징 증강(Fine-tuning) 기법이 도입된다: Split(특징 순열), PPR(개인화된 페이지랭크), HK(열핵), Katz(Katz 중심성)로, 모두 각 정점별로 적용된다.
• 이 방법은 아키텍처에 종속되지 않으며, 어떤 GNN 유형과도 호환되며, 프로젝션 헤드가 필요하지 않다. 프로젝션 헤드는 분석된 결과에서 추가적인 이점을 제공하지 않음을 확인하였다.
• 학습은 두 증강된 뷰 간의 일치를 최대화하는 대조 목적 함수를 사용하며, 배치 정규화에 의존하여 암시적 대조를 구현한다.
• 고정된 초모수를 사용하여 표준 노드 분류 벤치마크를 통해 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 배치 정규화만으로도 명시적 음성 샘플링을 대체할 수 있는 충분한 대조 신호를 제공할 수 있는가?
• RQ2 특징 증강 기법이 성능과 효율성 면에서 정점 구조적 증강과 어떻게 비교되는가?
• RQ3 프로젝션 헤드를 제거하면 자기지도 학습 GNN의 성능에 악영향을 미치는가?
• RQ4 자기지도 학습 GNN이 라벨이 없는 데이터만을 사용하여 지도 학습 GNN과 비교할 만한 성능을 달성할 수 있는가?
• RQ5 특히 대규모 그래프에서 정점 구조적 증강과 비교해 본다면, 제안된 방법은 확장성과 효율성 면에서 유의미한가?

주요 결과

• SelfGNN는 Cora, Citeseer, Pubmed 포함 일곱 개인 실세계 데이터셋에서 최신 기술의 지도 학습 GNN과 비교할 만한 성능을 달성한다.
• 기존 준지도 및 비지도 GNN을 일관되게 능가하며, 암시적 대조 학습의 효과성을 입증한다.
• 특징 증강 기법(Fine-tuning)은 계산 비용이 낮고 일정 시간 내에 작동함에도 불구하고 정점 구조적 증강(TA)과 동등한 성능을 보인다.
• 정점 구조적 증강은 강한 정규화와 적은 에포크 수가 필요하지만, 특징 증강은 높은 드롭아웃 비율과 더 많은 학습 에포크 수에서 유리하다.
• 배치 정규화는 핵심적이다: 이를 제거하면 안정성과 성능이 심각하게 악화된다.
• 프로젝션 헤드는 측정 가능한 이득을 제공하지 않으며 분산을 증가시킨다. 이는 SelfGNN에서의 제거가 타당하다는 것을 정당화한다.