[논문 리뷰] Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning

Yizhu Jiao, Yun Xiong외 4명|arXiv (Cornell University)|2020. 09. 22.

Advanced Graph Neural Networks참고 문헌 37인용 수 24

한 줄 요약

이 논문은 각 노드 중심의 샘플링된 부분그래프에 대해 대조 학습을 수행함으로써 지역적 구조 정보를 포착하는 확장 가능한 자기지도 학습 그래프 표현 학습 방법인 Subg-Con을 제안한다. 전체 그래프가 아닌 작은 다각도의 부분그래프에서 학습함으로써 Subg-Con은 메모리와 학습 시간을 크게 줄이며, 특히 Reddit와 같은 대규모 그래프에서 상태최저 성능을 달성한다. 또한 다양한 후속 작업에서 뛰어난 일반화 성능도 유지한다.

ABSTRACT

Graph representation learning has attracted lots of attention recently. Existing graph neural networks fed with the complete graph data are not scalable due to limited computation and memory costs. Thus, it remains a great challenge to capture rich information in large-scale graph data. Besides, these methods mainly focus on supervised learning and highly depend on node label information, which is expensive to obtain in the real world. As to unsupervised network embedding approaches, they overemphasize node proximity instead, whose learned representations can hardly be used in downstream application tasks directly. In recent years, emerging self-supervised learning provides a potential solution to address the aforementioned problems. However, existing self-supervised works also operate on the complete graph data and are biased to fit either global or very local (1-hop neighborhood) graph structures in defining the mutual information based loss terms. In this paper, a novel self-supervised representation learning method via Subgraph Contrast, namely extsc{Subg-Con}, is proposed by utilizing the strong correlation between central nodes and their sampled subgraphs to capture regional structure information. Instead of learning on the complete input graph data, with a novel data augmentation strategy, extsc{Subg-Con} learns node representations through a contrastive loss defined based on subgraphs sampled from the original graph instead. Compared with existing graph representation learning approaches, extsc{Subg-Con} has prominent performance advantages in weaker supervision requirements, model learning scalability, and parallelization. Extensive experiments verify both the effectiveness and the efficiency of our work compared with both classic and state-of-the-art graph representation learning approaches on multiple real-world large-scale benchmark datasets from different domains.

연구 동기 및 목표

• 기존 그래프 신경망이 전체 그래프 연산이 필요로 하여 높은 메모리와 학습 비용을 유발하는 확장성 한계를 해결하기 위해.
• 노드 레이블의 비용이 높은 데 기인한 의존도를 줄이기 위해 약한 지도 신호를 활용한 자기지도 학습 표현 학습을 가능하게 하기 위해.
• 기존 자기지도 학습 방법이 전역 또는 1단계 이웃 구조에만 집중하는 편향을 해결하기 위해 더 풍부한 지역적 구조 정보를 포착하기 위해.
• 전체 그래프 처리 대신 부분그래프 기반 학습을 통해 학습 효율성을 높이고 효과적인 병렬 처리를 가능하게 하기 위해.

제안 방법

• 각 노드 중심의 부분그래프를 샘플링하여 노드와 지정된 크기 이내의 이웃을 포함함으로써 대조 학습을 위한 양성 쌍을 형성한다.
• 중앙 노드의 표현과 해당 부분그래프 표현 간의 일치를 최대화하는 대조 손실을 적용하며, 이 둘 사이의 강한 상관관계를 활용한다.
• 다양한 부분그래프를 생성하기 위한 데이터 증강 전략을 도입하여 견고성과 일반화 능력을 향상시키고 국소 또는 전역 구조에 대한 과적합을 방지한다.
• GNN 인코더를 사용해 부분그래프를 임bedding하고, 노드 레이블이나 전체 그래프 연산 없이도 표현을 학습한다.
• 학습은 전체 그래프 방법 대비 메모리와 계산을 크게 줄이는 소수의 샘플링된 부분그래프(예: 50–500개)에서 수행된다.
• 다중 GPU를 통해 부분그래프 처리를 분산함으로써 효율적인 병렬 처리를 지원하며, Reddit나 Flickr와 같은 대규모 그래프에서도 확장 가능한 학습이 가능하다.

실험 결과

연구 질문

• RQ1 전체 그래프에 의존하지 않고 부분그래프 기반 대조 학습이 그래프의 지역적 구조 정보를 효과적으로 포착할 수 있는가?
• RQ2 대규모 그래프에서 기존 자기지도 및 지도 학습 GNN 방법과 비교해 Subg-Con의 성능과 효율성은 어떠한가?
• RQ3 부분그래프 크기와 샘플링 전략이 학습된 표현의 품질에 얼마나 큰 영향을 미치는가?
• RQ4 Subg-Con은 성능을 유지하면서도 효율적으로 병렬 처리가 가능한가? 이는 실세계의 대규모 그래프에 적합한가?

주요 결과

• Subg-Con은 Reddit, Flickr, PPI를 포함한 여러 벤치마크 데이터셋에서 상태최저 성능을 달성하며, 노드 분류 작업에서 지도 및 비지도 기준을 모두 초월한다.
• Reddit 데이터셋에서 Subg-Con은 전체 그래프 방법 대비 학습 시간과 메모리 사용량을 크게 줄였으며, 2노드 부분그래프만을 사용할 경우 F1 스코어가 최대 20점 감소하는 성능 저하가 발생하더라도 여전히 우수한 성능을 유지한다.
• Citeseer에서는 부분그래프 크기 10, 다른 데이터셋에서는 크기 20에서 최적의 성능를 기록하여 더 큰 부분그래프가 더 정보적인 지역적 구조를 포착함을 시사하지만, 희소 그래프에서는 과도한 크기가 노이즈를 유발할 수 있음을 확인했다.
• 20,000개의 부분그래프를 다중 GPU에서 병렬 처리하여 성능 손실 없이 처리 속도를 높였으며, 이는 높은 확장성과 효율성을 입증한다.
• Reddit와 같은 대규모 그래프에서 학습에 단 50개의 부분그래프만 사용해도 강력한 성능을 기록하여 지역 정보만으로도 고품질의 표현 학습이 충분함을 확인했다.
• 사회 네트워크, 인용 네트워크, 생물의학 그래프에 이르기까지 다양한 도메인에서 뛰어난 일반화 능력을 보이며 광범위한 적용 가능성을 입증했다.