[논문 리뷰] Networked Inequality: Preferential Attachment Bias in Graph Neural Network Link Prediction

Arjun Subramonian, Levent Sagun외 1명|arXiv (Cornell University)|2023. 09. 29.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

이 논문은 대칭 정규화를 갖는 그래프 컨volution 네트워크(GCNs)에서 이전에 탐색되지 않은 그룹 내 선호적 연결(Preferential Attachment, PA) 편향을 규명한다. 이 편향은 사회적 그룹 내 노드의 차수의 기하평균과 연관된 링크 예측 점수를 나타낸다. 저자들은 이 편향이 차수 및 힘의 격차를 악화시켜 특히 낮은 차수를 가진 개인에게 불리하게 작용함을 이론적·실험적으로 입증한다. 또한 새로운 그룹 내 공정성 지표를 제안하고, 훈련 시점에서의 정규화 전략을 도입하여 인용, 사회적, 신용 네트워크에서의 불공정성을 효과적으로 감소시킨다.

ABSTRACT

Graph neural network (GNN) link prediction is increasingly deployed in citation, collaboration, and online social networks to recommend academic literature, collaborators, and friends. While prior research has investigated the dyadic fairness of GNN link prediction, the within-group (e.g., queer women) fairness and "rich get richer" dynamics of link prediction remain underexplored. However, these aspects have significant consequences for degree and power imbalances in networks. In this paper, we shed light on how degree bias in networks affects Graph Convolutional Network (GCN) link prediction. In particular, we theoretically uncover that GCNs with a symmetric normalized graph filter have a within-group preferential attachment bias. We validate our theoretical analysis on real-world citation, collaboration, and online social networks. We further bridge GCN's preferential attachment bias with unfairness in link prediction and propose a new within-group fairness metric. This metric quantifies disparities in link prediction scores within social groups, towards combating the amplification of degree and power disparities. Finally, we propose a simple training-time strategy to alleviate within-group unfairness, and we show that it is effective on citation, social, and credit networks.

연구 동기 및 목표

• 네트워크 구조 내 차수 편향이 그래프 신경망(GNN) 링크 예측 공정성에 미치는 영향을 조사하는 것.
• 대칭 정규화된 그래프 필터를 갖는 GCN에서 이전에 탐색되지 않은 그룹 내 선호적 연결(PA) 편향을 특정하고 분석하는 것.
• 새로운 그룹 내 공정성 지표를 도입하여 GCN의 PA 편향과 링크 예측 불공정성 간의 연결 고리를 맺는 것.
• 그룹 내 불공정성을 완화하는 훈련 시점 정규화 전략을 제안하고 평가하는 것.
• 인용, 협업, 온라인 사회적, 신용 네트워크를 포함한 다양한 실세계 네트워크에서 결과를 검증하는 것.

제안 방법

• 이론적 분석을 통해 대칭 정규화된 그래프 필터를 갖는 GCN이 링크 예측 점수를 그룹 내 노드 차수의 기하평균에 비례하게 생성함을 보여주며, 이는 그룹 내 PA 편향을 시사한다.
• 노드의 차수 차이에 기반해 사회적 그룹 간 링크 예측 점수의 격차를 정량화하기 위해 새로운 그룹 내 공정성 지표 $\widehat{\Delta}^{(b)}$ 를 제안한다.
• 동일한 그룹 내 서로 다른 차수를 가진 노드 간의 불공정한 링크 예측 점수 격차를 방지하기 위해 훈련 시점 정규화 손실 $\mathcal{L}_{\text{fair}}$ 를 도입한다.
• 논문은 인용 네트워크(CORA, CITESEER, DBLP, PUBMED), 협업 네트워크(CS, PHYSICS), 온라인 사회 네트워크(LASTFMASIA, DE, EN, FR), 신용 네트워크(NBA, GERMAN, DBLP-Fairness)에서 평가된다.
• 모델 깊이에 따른 이론적 결과의 타당성을 검증하기 위해 2층 및 4층 GCN 인코더를 비교 분석한다.
• 이론적 예측된 링크 예측 점수를 실제 GCN 출력과 NRMSE 및 PCC 지표를 사용해 비교하여 PA 편향 가설을 검증한다.

실험 결과

연구 질문

• RQ1 대칭 정규화를 갖는 GCN은 링크 예측에서 그룹 내 선호적 연결(PA) 편향을 보이는가?
• RQ2 이 편향은 특히 학술 및 협업 환경에서 차수 및 영향력 격차를 어떻게 악화시키는가?
• RQ3 새로운 그룹 내 공정성 지표가 노드의 차수에 기반해 그룹 내 고차수 및 저차수 노드 간 링크 예측 점수 격차를 효과적으로 측정할 수 있는가?
• RQ4 훈련 시점 정규화 전략은 GCN 기반 링크 예측에서 그룹 내 불공정성을 어느 정도 완화할 수 있는가?
• RQ5 PA 편향은 랜덤 워크 정규화를 갖는 GCN에서도 유지되는가, 아니면 대칭 정규화에 특화된가?

주요 결과

• 대칭 정규화된 그래프 필터를 갖는 GCN은 링크 예측 점수가 동일한 사회적 그룹 내 두 노드의 차수 기하평균에 비례하는 그룹 내 선호적 연결(PA) 편향을 보인다.
• 차수 곱과 특징 유사성에 기반한 이론적 링크 예측 점수 예측이 실제 GCN 출력과 강한 상관관계를 보이며, 데이터셋 간 PCC 값은 0.752에서 0.950 사이로 변동한다.
• 제안된 공정성 지표 $\widehat{\Delta}^{(b)}$ 는 동일 그룹 내 고차수 및 저차수 노드 간 링크 예측 점수 격차를 효과적으로 캡처하며, 대부분의 데이터셋에서 NRMSE 값이 0.06 이하이다.
• 훈련 시점 정규화 전략은 공정성 손실 $\mathcal{L}_{\text{fair}}$ 를 최대 75% 감소시켰다 (예: NBA에서 0.122에서 0.000으로, GERMAN에서 0.028에서 0.000으로), 同시에 테스트 AUC는 유지하거나 약간 향상시켰다.
• 이 방법은 다양한 네트워크 유형에서 효과적이다: 인용(CORA, DBLP), 협업(CS, PHYSICS), 온라인 사회(LASTFMASIA, EN), 신용(NBA, GERMAN) 네트워크.
• 심화된 4층 GCN 인코더를 사용한 경우에도 이론적 및 실험적 결과는 그룹 내 PA 편향 존재를 지속적으로 지지하며, NRMSE 및 PCC 값은 유사하거나 향상된 상태를 유지한다.