[논문 리뷰] Uncovering the Structural Fairness in Graph Contrastive Learning

Ruijia Wang, Xiao Wang외 2명|arXiv (Cornell University)|2022. 10. 06.

Advanced Graph Neural Networks인용 수 20

한 줄 요약

논문은 그래프 대비 학습(GCL)이 GCN보다 차수 편향에 덜 편향되며, 내부 커뮤니티 집중도와 커뮤니티 간 산란으로 이를 설명하고, 또한 차수 편향 인식 증강 프레임워크 GRADE를 제안하여 공정성과 꼬리 노드 성능을 향상시킨다.

ABSTRACT

Recent studies show that graph convolutional network (GCN) often performs worse for low-degree nodes, exhibiting the so-called structural unfairness for graphs with long-tailed degree distributions prevalent in the real world. Graph contrastive learning (GCL), which marries the power of GCN and contrastive learning, has emerged as a promising self-supervised approach for learning node representations. How does GCL behave in terms of structural fairness? Surprisingly, we find that representations obtained by GCL methods are already fairer to degree bias than those learned by GCN. We theoretically show that this fairness stems from intra-community concentration and inter-community scatter properties of GCL, resulting in a much clear community structure to drive low-degree nodes away from the community boundary. Based on our theoretical analysis, we further devise a novel graph augmentation method, called GRAph contrastive learning for DEgree bias (GRADE), which applies different strategies to low- and high-degree nodes. Extensive experiments on various benchmarks and evaluation protocols validate the effectiveness of the proposed method.

연구 동기 및 목표

• 길이가 긴 꼬리 차수 분포에서 차수 편향 하에 GCL이 구조적 공정성을 보이는지 조사한다.
• vanilla GCN과 비교하여 GCL이 공정을 달성하는 기제를 이해한다.
• 헤드 노드 성능을 저하시키지 않으면서 꼬리 노드의 공정성을 추가로 향상시키기 위한 그래프 증강 전략을 개발한다.
• GCL용 차수 편향 인식 증강 프레임워크인 GRADE를 제안하고 평가한다.
• 증강과 표현 집중도 및 커뮤니티 구조 사이의 이론적 연계를 제시한다.]
• method:[
• Theoretical analysis showing intra-community concentration and inter-community scatter explain GCL fairness.
• Definition of augmentation concentration via an (\u001a,\u0013,\rd) augmentation framework.
• Proposal of GRADE which tailors topology augmentation for tail nodes (interpolating within-community neighbors) and head nodes (purifying inter-community connections).
• Feature augmentation via random masking is incorporated.
• Contrastive objective using two augmented views with a temperature parameter \u001ct and a projection head to compute similarities.
• Evaluation through linear evaluation on standard graph benchmarks with both semi-supervised and supervised splits.

제안 방법

• 이론적 분석으로 내부 커뮤니티 집중도와 커뮤니티 간 산란이 GCL의 공정을 설명한다.
• (\u001a,\u0013,\rd) augmentation 프레임워크를 통해 증강 집중도의 정의를 제공한다.
• Tail 노드에 대해 같은 커뮤니티 이웃을 보간하는 토폴로지 증강을 맞춤화하고 Head 노드에 대해서는 커뮤니티 간 연결을 정화하는 방식의 GRADE를 제안한다.
• 랜덤 마스킹을 통한 특징 증강이 포함된다.
• 온도 매개변수 t와 투사 헤드를 사용하여 두 개의 증강 뷰 간 유사도를 계산하는 대비 목적.
• semi-supervised와 supervised 분할을 모두 포함한 표준 그래프 벤치마크에서 선형 평가를 통해 평가한다.

실험 결과

연구 질문

• RQ1 GCL이 GCN과 비교했을 때 노드 차수에 대해 구조적 공정성을 보이는가?
• RQ2 관찰된 GCL의 공정성을 뒷받침하는 이론적 기제는 무엇인가?
• RQ3 헤드 노드에 해를 주지 않으면서 꼬리 노드의 공정성을 더 향상시키는 전문 증강 전략이 가능할까?
• RQ4 제안된 GRADE 증강이 내부 커뮤니티 표현 집중도와 커뮤니티 간 표현 집중도 및 전반적인 공정성에 어떤 영향을 미치는가?

주요 결과

• GCL 표현은 차수 편향 하에서 tail 노드와 head 노드 간의 성능 차이가 GCN보다 작다.
• 내부 커뮤니티 집중도와 커뮤니티 간 산란이 GCL의 공정성을 좌우하는 핵심 요인으로 확인된다.
• 새로운 증강 GRADE가 tail 노드의 같은 커뮤니티 이웃을 풍부하게 하고 head 노드 이웃을 정화하여 교차 커뮤니티 노이즈를 줄임으로써 tail-node 성능을 향상시킨다.
• 다수의 데이터셋에서 tail 노드의 정확도를 더 높이고 head 노드의 성능은 유지하거나 향상시킨다.
• 정량적 공정성 분석은 GRADE가 차수 편향 편향을 감소시키고 그룹 평균 정확도를 baselines에 비해 증가시킴을 시사한다.