[논문 리뷰] Distance-wise Graph Contrastive Learning.

Deli Chen, Yankai Lin외 5명|arXiv (Cornell University)|2020. 12. 14.

Advanced Graph Neural Networks참고 문헌 20인용 수 4

한 줄 요약

이 논문은 레이블이 부여된 노드로부터의 위상적 거리에 따라 대응되는 대조 학습을 적응적으로 적용하는 거리 기반 그래프 대비 학습(DwGCL)을 제안한다. 정보가 부족한 먼 노드를 식별하기 위해 Group PageRank를 활용하고, 이를 바탕으로 샘플링 전략을 조정함으로써, 다양한 레이블 설정 하에서 다섯 개의 벤치마크 데이터셋과 여러 GNN 아키텍처에서 성능을 향상시킨다.

ABSTRACT

Contrastive learning (CL) has proven highly effective in graph-based semi-supervised learning (SSL), since it can efficiently supplement the limited task information from the annotated nodes in graph. However, existing graph CL (GCL) studies ignore the uneven distribution of task information across graph caused by the graph topology and the selection of annotated nodes. They apply CL to the whole graph evenly, which results in an incongruous combination of CL and graph learning. To address this issue, we propose to apply CL in the graph learning adaptively by taking the received task information of each node into consideration. Firstly, we introduce Group PageRank to measure the node information gain from graph and find that CL mainly works for nodes that are topologically far away from the labeled nodes. We then propose our Distance-wise Graph Contrastive Learning (DwGCL) method from two views:(1) From the global view of the task information distribution across the graph, we enhance the CL effect on nodes that are topologically far away from labeled nodes; (2) From the personal view of each node's received information, we measure the relative distance between nodes and then we adapt the sampling strategy of GCL accordingly. Extensive experiments on five benchmark graph datasets show that DwGCL can bring a clear improvement over previous GCL methods. Our analysis on eight graph neural network with various types of architecture and three different annotation settings further demonstrates the generalizability of DwGCL.

연구 동기 및 목표

• 그래프의 위상적 특성과 레이블이 부여된 노드의 선택으로 인해 발생하는 작업 정보의 비균형 분포 문제를 해결한다.
• 기존의 그래프 대비 학습(GCL) 방법들이 전체 그래프에 걸쳐 동일하게 대비 학습을 적용하는 데서 비롯되는 한계를 극복한다.
• 레이블이 부여된 노드로부터 위상적으로 먼 노드에 집중함으로써, 정보 수확이 가장 필요한 영역에서 GCL의 효과를 향상시킨다.
• 각 노드가 레이블이 부여된 노드로부터 상대적 거리에 따라 고려된 적응형 샘플링 전략을 개발하여 대비 학습의 효율성을 향상시킨다.
• 제안된 방법이 다양한 GNN 아키텍처와 레이블 설정 조건에서 일반화 가능한지를 입증한다.

제안 방법

• 각 노드의 그래프 구조로부터의 정보 수확량을 측정하기 위해 Group PageRank를 도입하여, 레이블이 부여된 노드로부터 위상적으로 먼 노드를 식별한다.
• Group PageRank 점수를 활용해 대비 학습에서의 음성 샘플 선택을 이끌며, 정보 수확량이 낮은 노드를 우선순위로 한다.
• 노드와 레이블이 부여된 노드 사이의 상대적 거리에 따라 GCL의 샘플링 전략을 적응적으로 조정하여, 먼 노드를 대비 증강에 우선적으로 활용한다.
• 거리 인식 기반으로 대비 학습을 수행한다: 레이블이 부여된 노드로부터 멀리 떨어진 노드에서, 감독 신호가 희박한 영역에서 대비 신호를 강화한다.
• 기본적인 GNN 아키텍처를 수정하지 않고도 거리 인식 기반 샘플링을 표준 GCL 프레임워크에 통합한다.
• 작업 정보의 전역 분포를 활용하여, 위상적 거리에 따라 대비 학습 목표를 재가중하거나 재구성한다.

실험 결과

연구 질문

• RQ1 노드와 레이블이 부여된 노드 사이의 위상적 거리가 그래프 기반 반감성 그래프 학습에서 정보 수확량에 어떤 영향을 미치는가?
• RQ2 정보 수확량이 낮은 먼 노드를 우선순위로 삼는 적응형 대비 학습이 균일한 GCL 적용보다 성능을 향상시킬 수 있는가?
• RQ3 제안된 거리 인식 샘플링 전략은 다양한 GNN 아키텍처에서의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 레이블 부족 수준과 레이블 배치 전략의 다양성에 따라 DwGCL은 어느 정도 성능 향상을 이룬다?
• RQ5 정보 수확량의 대체 지표로 Group PageRank를 사용할 경우, 그래프에서 더 효과적인 대비 학습이 이루어지는가?

주요 결과

• DwGCL은 다섯 개의 벤치마크 그래프 데이터셋에서 이전의 GCL 방법들보다 일관되게 성능 향상을 달성한다.
• 이 방법은 다양한 GNN 아키텍처에서 효과적이며, 뛰어난 일반화 능력을 보여준다.
• 특히 레이블이 부여된 노드로부터 위상적으로 먼 노드에서 성능 향상이 두드러지며, 이는 방법이 정보가 부족한 영역에 집중된다는 것을 확인한다.
• 세 가지 다른 레이블 설정 조건에서의 실험 결과, 레이블 분포와 관계없이 DwGCL은 뛰어난 성능 유지를 보였다.
• Group PageRank는 대비 학습에서 가장 이점을 얻는 노드를 성공적으로 식별하였으며, 이는 적응형 샘플링을 이끄는 데서의 역할을 검증한다.
• 상대적 거리에 기반한 적응형 샘플링 전략은 레이블 분포가 불균형한 그래프에서 더 효과적인 대비 신호 전파를 이끌어낸다.