[논문 리뷰] Graph Soft-Contrastive Learning via Neighborhood Ranking

Zhiyuan Ning, Pengfei Wang외 6명|arXiv (Cornell University)|2022. 09. 28.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 절대적 유사도 레이블링을 이웃 관계 순위로 대체함으로써 강건성과 성능을 향상시키는 새로운 그래프 대비 학습 프레임워크인 그래프 소프트-컨트라스트브 학습(GSCL)을 제안한다. 상위 이웃 관계의 상대적 유사도를 활용하고 게이팅된 순위 InfoNCE 손실을 도입함으로써 GSCL는 11개의 다양한 그래프 데이터셋에서 기존의 20개의 SOTA 방법들을 능가하는 최신 성능을 달성하며, 이웃 샘플링 전략을 통해 계산 효율성도 향상시킨다.

ABSTRACT

Graph Contrastive Learning (GCL) has emerged as a promising approach in the realm of graph self-supervised learning. Prevailing GCL methods mainly derive from the principles of contrastive learning in the field of computer vision: modeling invariance by specifying absolutely similar pairs. However, when applied to graph data, this paradigm encounters two significant limitations: (1) the validity of the generated views cannot be guaranteed: graph perturbation may produce invalid views against semantics and intrinsic topology of graph data; (2) specifying absolutely similar pairs in the graph views is unreliable: for abstract and non-Euclidean graph data, it is difficult for humans to decide the absolute similarity and dissimilarity intuitively. Despite the notable performance of current GCL methods, these challenges necessitate a reevaluation: Could GCL be more effectively tailored to the intrinsic properties of graphs, rather than merely adopting principles from computer vision? In response to this query, we propose a novel paradigm, Graph Soft-Contrastive Learning (GSCL). This approach facilitates GCL via neighborhood ranking, avoiding the need to specify absolutely similar pairs. GSCL leverages the underlying graph characteristic of diminishing label consistency, asserting that nodes that are closer in the graph are overall more similar than far-distant nodes. Within the GSCL framework, we introduce pairwise and listwise gated ranking InfoNCE loss functions to effectively preserve the relative similarity ranking within neighborhoods. Moreover, as the neighborhood size exponentially expands with more hops considered, we propose neighborhood sampling strategies to improve learning efficiency. Our extensive empirical results across 11 commonly used graph datasets-including 8 homophily graphs and 3 heterophily graphs-demonstrate GSCL's superior performance compared to 20 SOTA GCL methods.

연구 동기 및 목표

• 기존 그래프 대비 학습(GCL) 방법이 절대적 유사도 쌍과 시각 증강에 의존함으로써 종종 유효하지 않거나 의미적으로 일관되지 않은 그래프 뷰를 생성하는 데서 비롯되는 한계를 해결하기 위해.
• 그래프 데이터의 본질적인 비유클리드적이고 추상적인 성격을 더 잘 반영하기 위해, 이웃 순위를 통한 상대적 유사도 모델링을 통한 GCL 프레임워크를 개발하기 위해.
• 사람이 정의한 절대적 유사도 쌍이 필요 없도록 하기 위해, 그래프 내에서 더 가까운 노드들이 일반적으로 더 유사하다는 원칙에 기반해 대비 학습을 재구성하기 위해.
• 다중 홉을 거쳐 증가하는 이웃의 성장을 고려해 계산 비용을 관리하기 위해, 이웃 샘플링 전략을 도입함으로써 계산 효율성을 향상시키기 위해.
• 그래프 구조와 레이블 일관성 패턴을 활용하여, 그래프 구조적 데이터에 대해 더 이성적이고 효과적인 새로운 그래프 자기지도 학습의 패러다임을 수립하기 위해.

제안 방법

• GSCL는 기존 대비 학습의 절대적 유사도 쌍을 그래프 이웃 구조에 기반한 상대적 순위 메커니즘으로 대체하며, 그래프 내에서 더 가까운 노드들은 더 유사하다고 가정한다.
• 이 방법은 두 가지 새로운 손실 함수를 도입한다: 이변량 및 리스트와이즈 게이팅된 순위 InfoNCE로, 다중 홉을 넘어서는 양성 및 음성 노드 쌍 간의 비교를 통해 이웃 내 상대적 유사도 순서를 유지한다.
• 이변량 게이팅된 순위 손실은 앵커 노드와 그 이웃 간의 유사도 점수를 계산하며, 어텐션 게이팅이 다양한 홉 수준의 기여도를 동적으로 가중한다.
• 리스트와이즈 게이팅된 순위 손실은 이웃 전체에 대해 확장되며, 계층적 구조를 사용해 다중 홉을 넘어서는 유사도 점수를 집계하고 순위 일관성을 강제한다.
• 지수적으로 증가하는 이웃의 계산 비용을 관리하기 위해, GSCL는 각 홉 수준에서 가장 관련성이 높은 노드들만 샘플링하는 이웃 샘플링 전략을 활용한다.
• 이 프레임워크는 명시적인 양성/음성 쌍 레이블링이 필요 없이, 유사한 노드들의 순위 일관성을 극대화하고 비유사한 노드들을 분리시키는 대비 목적 함수를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 그래프 대비 학습을 컴퓨터 비전에서 유도된 패러다임을 빌려다 쓰는 대신, 그래프 데이터의 본질적인 위상적 및 의미적 성질을 더 잘 존중하는 방식으로 재구성할 수 있는가?
• RQ2 유사도 기반의 이웃 순위에 의존함으로써, 그래프 대비 학습에서 인간이 정의한 절대적 유사도 쌍이 필요 없도록 할 수 있는가?
• RQ3 확장되는 이웃 내에서 노드 간의 상대적 유사도를 효과적으로 모델링하면 표현 학습 성능가 향상될 수 있는가?
• RQ4 이웃 샘플링 전략은 다중 홉 이웃 학습에서 성능을 유지하면서 계산 비용을 줄일 수 있는가?
• RQ5 순위 기반 대비 목적 함수는 다양한 그래프 벤치마크에서 기존 절대적 유사도 쌍을 사용하는 전통적 대비 학습보다 우월한 성능을 보일 수 있는가?

주요 결과

• GSCL는 8개의 호모필리 및 3개의 헤테로필리 그래프를 포함한 11개의 벤치마크 그래프 데이터셋에서 기존의 20개의 SOTA GCL 방법들을 능가하는 최신 성능을 달성한다.
• 제안된 리스트와이즈 게이팅된 순위 InfoNCE 손실은 이변량 변형보다 일관되게 성능 향상을 보이며, 전체 이웃 순위를 모델링하는 데서 온 이점임을 입증한다.
• 이웃 샘플링 전략은 다중 홉 이웃 집합의 계산 복잡도를 줄여 대규모 그래프에서의 효율적 훈련을 가능하게 한다.
• GSCL는 증강 뷰의 유효성에 의존하지 않기 때문에, 전통적인 GCL 방법들과 달리 뷰 변형에 대해 강건함을 보였다.
• 특히, 기존 GCL 방법들이 호모필리 가정의 붕괴로 실패하기 쉬운 헤테로필리 그래프에서 뚜렷한 성능 향상을 달성했다.
• 실험 결과는 점점 줄어드는 레이블 일관성 성질—즉, 더 가까운 노드들이 더 유사하다—가 그래프 표현 학습에 강력한 인덕티브 바이어스로 작용한다는 것을 확인했다.