[논문 리뷰] Self-Supervised Graph Representation Learning via Global Context Prediction

Zhen Peng, Yixiang Dong외 3명|arXiv (Cornell University)|2020. 03. 03.

Advanced Graph Neural Networks참고 문헌 33인용 수 39

한 줄 요약

논문은 S2GRL을 제안한다, 자기지도 프레임워크로 노드 쌍 간의 홉 기반 컨텍스트 위치를 예측하여 전역 콘텍스트를 고려한 노드 임베딩을 학습하고, 많은 비지도 방법을 능가하며 일부 감독 모델과도 경쟁한다.

ABSTRACT

To take full advantage of fast-growing unlabeled networked data, this paper introduces a novel self-supervised strategy for graph representation learning by exploiting natural supervision provided by the data itself. Inspired by human social behavior, we assume that the global context of each node is composed of all nodes in the graph since two arbitrary entities in a connected network could interact with each other via paths of varying length. Based on this, we investigate whether the global context can be a source of free and effective supervisory signals for learning useful node representations. Specifically, we randomly select pairs of nodes in a graph and train a well-designed neural net to predict the contextual position of one node relative to the other. Our underlying hypothesis is that the representations learned from such within-graph context would capture the global topology of the graph and finely characterize the similarity and differentiation between nodes, which is conducive to various downstream learning tasks. Extensive benchmark experiments including node classification, clustering, and link prediction demonstrate that our approach outperforms many state-of-the-art unsupervised methods and sometimes even exceeds the performance of supervised counterparts.

연구 동기 및 목표

• 그래프 구조에서 자연스러운 감독 신호를 활용해 라벨이 없는 그래프 데이터에서 노드 표현을 학습하는 동기를 제시한다.
• 전역 토폴로지를 인코딩하기 위해 노드 쌍 간의 상대 컨텍스트 위치(홉 수)를 예측하는 자기지도 프레임워크를 제안한다.
• 홉 기반 감독이 최첨단 비지도 방법과 일부 감독 베이스라인에 비견할 수 있는 표현을 도출함을 보여준다.

제안 방법

• 각 노드에 대해 k홉 이내에 도달 가능한 노드를 주요 범주(예: 1홉, 2홉 등)로 구분하여 홉 기반 글로벌 컨텍스트를 정의한다.
• 임베딩을 생성하도록 인코더 f_ω를 학습시켜, 분류기 h_θ가 노드 쌍의 임베딩으로부터 홉 기반 컨텍스트를 예측하도록 한다.
• 대칭적 상호작용 프록시(절대 차이) ⟨z_i, z_j⟩ = |z_i − z_j| 를 사용하여 컨텍스트 예측의 순서 불변성을 보장한다.
• 주요 컨텍스트 범주에 대한 교차 분류 목표를 최적화해 글로벌 컨텍스트 인식 표현을 학습한다.
• 대형 그래프에서 계산 및 클래스 불균형 문제를 해결하기 위해 배치 샘플링을 활용한다.
• 주요 클래스 구성을 위한 하이퍼파라미터를 탐색하여 식별력과 일반화 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 전역 그래프 토폴로지가 자기지도 그래프 표현 학습을 위한 자유로운 감독 신호를 제공할 수 있는가?
• RQ2 노드 쌍 간의 홉 기반 컨텍스트 위치를 예측하면 전역 구조를 포착하고 다운스트림 작업을 개선하는 임베딩이 얻어지는가?
• RQ3 주요 컨텍스트 범주 구성은 임베딩 품질에 어떤 영향을 미치는가?
• RQ4 표준 벤치마크에서 S2GRL이 기존의 비지도 및 감독 그래프 표현 방법과 어떻게 비교되는가?

주요 결과

• S2GRL은 Cora에서 83.7%, Citeseer에서 72.1%, Pubmed에서 82.4%를 달성하여 전이적 노드 분류에서 많은 비지도 베이스라인을 능가한다.
• 유도 분류에서 S2GRL은 66.0% (PPI) 및 95.0% (Reddit)을 달성하여 여러 베이스라인을 능가한다.
• 클러스터링(NMI)에서 S2GRL은 0.540(Cora), 0.432(Citeseer), 0.332(Pubmed)로 기존 방법과 경쟁력 있다.
• 링크 예측에서 BlogCatalog에서 AUC 80.4–78.2%, Flickr에서 91.4–89.8%의 AUC를 달성하여 여러 베이스라인보다 우수하다.
• 시각적 분석(t-SNE)은 학습된 임베딩이 토폴로지 거리로 반영되어 전역 컨텍스트 가설을 지지한다.
• 1홉, 2홉, 3홉을 서로 다른 주요 범주로 사용하는 것이 지나치게 세분화된 분할보다 더 나은 표현을 제공합니다.