[논문 리뷰] Subgroup Generalization and Fairness of Graph Neural Networks

Jiaqi Ma, Junwei Deng외 1명|arXiv (Cornell University)|2021. 06. 29.

Advanced Graph Neural Networks참고 문헌 45인용 수 27

한 줄 요약

이 논문은 비 IID 노드-수준 반지도학습에서 GNN에 대한 새로운 PAC-베이시안 분석을 개발하고, 하위그룹 일반화 경계를 도출하며, 훈련 데이터와의 거리와 관련된 테스트 노드 하위그룹 간의 이론적 및 실험적 정확도 불일치를 보여준다.

ABSTRACT

Despite enormous successful applications of graph neural networks (GNNs), theoretical understanding of their generalization ability, especially for node-level tasks where data are not independent and identically-distributed (IID), has been sparse. The theoretical investigation of the generalization performance is beneficial for understanding fundamental issues (such as fairness) of GNN models and designing better learning methods. In this paper, we present a novel PAC-Bayesian analysis for GNNs under a non-IID semi-supervised learning setup. Moreover, we analyze the generalization performances on different subgroups of unlabeled nodes, which allows us to further study an accuracy-(dis)parity-style (un)fairness of GNNs from a theoretical perspective. Under reasonable assumptions, we demonstrate that the distance between a test subgroup and the training set can be a key factor affecting the GNN performance on that subgroup, which calls special attention to the training node selection for fair learning. Experiments across multiple GNN models and datasets support our theoretical results.

연구 동기 및 목표

• 비 IID 노드-수준 반지도학습에서 GNN 일반화를 위한 PAC-베이시안 프레임워크를 제공한다.
• 테스트 노드 특징과 훈련 노드 특징의 거리 의존되는 하위그룹 특정 일반화 경계를 도출한다.
• 훈련 데이터와의 거리로 정의된 테스트 하위그룹 간의 정확도 차이(공정성)를 이론적으로와 실험적으로 조사한다.
• 훈련 노드 선택과 그래프 구조가 GNN의 공정성에 미치는 영향을 강조한다.

제안 방법

• 고정된 X,G와 집계 특징 Z=g(X,G)에 조건부로 레이블의 임의성을 두고 그래프에서 노드-수준 반지도학습을 형식화한다.
• 하위그룹 간 확률적 및 결정론적 분류기에 대한 PAC-베이시안 경계를 개발하고 기대 손실 불일치 D^gamma_{m,m'}(P;λ)을 도입한다.
• h_i(X,G)=f(g_i(X,G);W1,...,WL)인 GNN에 경계를 특수화하고 V_m의 훈련 세트 V0에 대한 거리인 epsilon_m를 포함하는 하위그룹 일반화 경계를 도출한다.
• 집계 특징에 조건부로 라벨 분포의 평활성(가정 1)과 모델- 및 데이터 의존 가정(가정 2-4)을 도입하여 불일치 항 D^gamma_{m,0}(P;λ)을 한정한다.
• 네트워크 폭 b, 층 노름, 훈련 크기 N0에 의존함을 보이는 GNN용 하위그룹 일반화 경계를 제시하는 정리 3를 제시한다.

실험 결과

연구 질문

• RQ1 비 IID 노드-수준 데이터가 반지도학습 설정에서 GNN 일반화에 어떤 영향을 미치는가?
• RQ2 GNN의 하위그룹별 일반화 오차를 한정하고 하위그룹 간 불일치를 이끄는 요인을 이해할 수 있는가?
• RQ3 테스트 하위그룹과 훈련 세트 간의 거리가 정확도/불일치를 예측하여 GNN의 공정성을 알리는가?
• RQ4 훈련 데이터 선택과 그래프 구조가 GNN 예측에서 하위그룹 공정성에 어떤 영향을 미치는가?

주요 결과

• 비 IID 노드-수준 GNN에 대한 PAC-베이시안 일반화 경계가 개발되어 하위그룹 일반화를 훈련 하위그룹과 테스트 하위그룹 간의 기대 손실 불일치와 연결한다.
• GNN의 하위그룹 일반화 경계는 하위그룹의 테스트 오차가 훈련 세트까지의 집계 특징 거리 epsilon_m에 의해 증가함을 보인다.
• 이 경계는 잠재적 불공정성을 나타낸다: 훈련 데이터에서 멀리 떨어진 하위그룹은 일반화 보장이 약해지고 잠재적으로 정확도가 낮다.
• Cora, Citeseer, PubMed에서 GCN, GAT, SGC, APPNP에 대한 실험 결과는 훈련 데이터까지의 거리와 geodesic 거리로 정의된 하위그룹 간의 현저한 정확도 차이를 보여 이론을 검증한다.
• 편향된 훈련 노드 선택(중심성 기반)은 불일치를 악화시키며 훈련 데이터 선택이 공정성에 미치는 영향을 강조한다.