[논문 리뷰] FairNorm: Fair and Fast Graph Neural Network Training

O. Deniz Kose, Yanning Shen|arXiv (Cornell University)|2022. 05. 20.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

FairNorm는 감정 그룹별로 공정성 인식 가능하고 학습 가능한 정규화 연산을 적용함으로써 그래프 신경망(GNNs)에서 공정성과 수렴 속도를 동시에 향상시키는 새로운 정규화 프레임워크이다. 노드 분류 작업에서 편향을 감소시켜 통계적 평등성 차이를 최대 8.45%까지, 동등 기회 차이를 0.90%까지 개선하면서도 비정규화 기반 모델에 비해 학습 속도를 높인다.

ABSTRACT

Graph neural networks (GNNs) have been demonstrated to achieve state-of-the-art for a number of graph-based learning tasks, which leads to a rise in their employment in various domains. However, it has been shown that GNNs may inherit and even amplify bias within training data, which leads to unfair results towards certain sensitive groups. Meanwhile, training of GNNs introduces additional challenges, such as slow convergence and possible instability. Faced with these limitations, this work proposes FairNorm, a unified normalization framework that reduces the bias in GNN-based learning while also providing provably faster convergence. Specifically, FairNorm employs fairness-aware normalization operators over different sensitive groups with learnable parameters to reduce the bias in GNNs. The design of FairNorm is built upon analyses that illuminate the sources of bias in graph-based learning. Experiments on node classification over real-world networks demonstrate the efficiency of the proposed scheme in improving fairness in terms of statistical parity and equal opportunity compared to fairness-aware baselines. In addition, it is empirically shown that the proposed framework leads to faster convergence compared to the naive baseline where no normalization is employed.

연구 동기 및 목표

• GNN 학습에서의 이중 과제인 공정성 편향과 느린 수렴 속도를 해결하기 위해.
• 공정성과 최적화 향상 요소를 하나의 정규화 프레임워크 안에서 통합하기 위해.
• 정규화 레이어가 그룹별 표현 분포를 조작함으로써 편향을 어떻게 완화할 수 있는지 분석하기 위해.
• 공정성 인식 기반 및 비정규화 기반 기준 모델 대비 FairNorm의 공정성 지표와 수렴 속도에서의 우월성을 실증적으로 검증하기 위해.
• GNN 내 편향 원인에 대한 이론적 통찰에 기반한 공정성 정규화 항을 설계하기 위해.

제안 방법

• 감정 그룹별로 학습 가능한 파rameter를 가진 정규화 레이어인 FairNorm을 도입하여 GNN의 은닉 표현에서의 분포 편향을 감소시킨다.
• 두 가지 공정성 인식 정규화 항을 적용: $\mathcal{L}_{\mu}$는 그룹 평균을 일치시키고, $\mathcal{L}_{\Delta}$는 그룹 간 분산 차이를 최소화한다.
• 이론적 분석을 통해 공정성 인식 이동 연산이 정규화 없음 대비 수렴 속도 향상을 보임을 증명한다.
• GNN 레이어의 집계 이후 정규화를 적용하여 공정성과 최적화 성능 향상을 동시에 달성하는 엔드 투 엔드 학습을 가능하게 한다.
• 비선형성의 다양성을 평가하기 위해 실험에서 ReLU와 Sigmoid 활성화 함수를 사용한다.
• GNN 손실과 공정성 정규화 항을 통합한 유일한 학습 목표를 사용하여 유틸리티와 공정성을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 정규화 레이어를 활용하여 GNN에서 공정성 편향을 감소시키고 수렴 속도를 높일 수 있는가?
• RQ2 은닉 표현에서의 그룹별 평균 및 분산 이동이 GNN의 공정성에 어떤 영향을 미치는가?
• RQ3 공정성 인식 정규화 항이 통계적 평등성 및 동등 기회 지표에 어떤 영향을 미치는가?
• RQ4 FairNorm이 공정성 인식 기반 기준 모델 대비 공정성과 수렴 속도 양면에서 뛰어난 성능을 보이는가?
• RQ5 FairNorm의 성능은 $\kappa$와 $\tau$와 같은 하이퍼파라미터에 얼마나 민감한가?

주요 결과

• Pokec-z에서 FairNorm은 통계적 평등성 차이를 1.35%로 감소시켰고, M-Norm(5.57%) 및 기타 기준 모델보다 뛰어나다. Pokec-n에서도 FairNorm은 1.26%를 기록하여 M-Norm(2.48%)을 능가한다.
• Recidivism 네트워크에서 FairNorm은 0.90%의 동등 기회 차이를 기록하여 M-Norm의 1.71%보다 유의미하게 낮다.
• 비정규화 기반 모델 대비 FairNorm은 모든 데이터셋에서 더 빠른 수렴 속도를 보이며 학습 동역학이 향상됨을 관찰했다.
• 제거 실험을 통해 $\mathcal{L}_{\mu}$와 $\mathcal{L}_{\Delta}$를 함께 조합할 경우 가장 우수한 공정성 성능을 기록했으며, 이 중 $\mathcal{L}_{\mu}$가 주요 기여 요소임을 확인했다.
• 민감도 분석 결과 $\kappa=0.01$ 및 $\tau=10^{-10}$에서 최적의 공정성 결과를 얻었고, $\kappa=100$일 경우 성능 저하가 발생했다.
• FairNorm는 높은 정확도(예: Recidivism에서 95.11%)를 유지하면서도 공정성 지표를 크게 향상시켜 유틸리티-공정성 트레이드오프의 균형을 잘 유지함을 보였다.