[논문 리뷰] Fairness-aware Message Passing for Graph Neural Networks

Huaisheng Zhu, Guoji Fu외 4명|arXiv (Cornell University)|2023. 06. 19.

Age of Information OptimizationComputer Science인용 수 3

한 줄 요약

이 논문은 그래프 신경망을 위한 공정성 인지 메시지 전파 프레임워크인 GMMD를 제안한다. 이는 같은 민감 집단의 표현을 감안하고 다른 민감 집단의 표현을 통합함으로써 모델의 공정성을 향상시키는 방법이다. 매끄러움 정규화를 통해 높은 유용성을 확보하며, 다양한 벤치마크에서 최신 기술 수준의 공정성-정확도 트레이드오프를 달성한다. 이론적으로 타당한 변형인 GMMD-S는 효율성을 향상시킨다.

ABSTRACT

Graph Neural Networks (GNNs) have shown great power in various domains. However, their predictions may inherit societal biases on sensitive attributes, limiting their adoption in real-world applications. Although many efforts have been taken for fair GNNs, most existing works just adopt widely used fairness techniques in machine learning to graph domains and ignore or don't have a thorough understanding of the message passing mechanism with fairness constraints, which is a distinctive feature of GNNs. To fill the gap, we propose a novel fairness-aware message passing framework GMMD, which is derived from an optimization problem that considers both graph smoothness and representation fairness. GMMD can be intuitively interpreted as encouraging a node to aggregate representations of other nodes from different sensitive groups while subtracting representations of other nodes from the same sensitive group, resulting in fair representations. We also provide a theoretical analysis to justify that GMMD can guarantee fairness, which leads to a simpler and theory-guided variant GMMD-S. Extensive experiments on graph benchmarks show that our proposed framework can significantly improve the fairness of various backbone GNN models while maintaining high accuracy.

연구 동기 및 목표

• 메시지 전파 메커니즘이 사회적 편향을 악화시키는 경향이 있는 GNN에서의 공정성 인지 설계의 부족을 해결하기 위해.
• 그래프의 매끄러움과 표현의 공정성을 명시적으로 균형 잡는 메시지 전파 프레임워크를 개발하기 위해.
• 공정한 예측을 보장하면서도 높은 유용성을 유지하는 이론적으로 탄탄한 방법을 제공하기 위해.
• 실제 배포를 위한 간소화되고 효율적인 변형(GMMD-S)을 설계하기 위해.
• 다양한 그래프 벤치마크에서 공정성-정확도 트레이드오프에서의 프레임워크의 열등함을 실험적으로 검증하기 위해.

제안 방법

• 매끄러움과 공정성 정규화를 조합한 최적화 문제에서 유도된 프레임워크로, 공정성은 최대 평균 차이(MMD)를 통해 강제된다.
• GMMD는 서로 다른 민감 집단의 노드에서 온 표현을 가중 평균으로 통합하고, 같은 집단의 표현을 빼는 방식으로 메시지 전파를 수행한다.
• 이 방법은 최적화 목표가 그룹 공정성 지표의 상한을 최소화하는 방식으로 해석될 수 있다.
• 이론적 분석에서 유도된 간소화된 변형인 GMMD-S는 복잡도를 줄이되 공정성 보장을 유지한다.
• 이 프레임워크는 어떤 GNN 백본과도 호환되며 기존 학습 파ip라인에 쉽게 통합된다.
• 공정성과 정확도의 균형을 맞추기 위해 α(커널 유사도)와 M(MLP 깊이)와 같은 하이퍼파rameter가 조정된다.

실험 결과

연구 질문

• RQ1 메시지 전파를 어떻게 재설계하여 예측 유용성을 유지하면서도 편향을 명시적으로 완화할 수 있는가?
• RQ2 일원화된 최적화 프레임워크로 GNN에서 그래프의 매끄러움과 표현의 공정성을 동시에 강제할 수 있는가?
• RQ3 제안된 메시지 전파 메커니즘과 그룹 공정성 지표 사이의 이론적 관계는 무엇인가?
• RQ4 기존의 공정성 기법과 비교할 때, 제안된 방법의 공정성-정확도 트레이드오프는 어떠한가?
• RQ5 프레임워크의 간소화된 변형은 계산 비용을 줄이면서도 공정성 성능을 유지할 수 있는가?

주요 결과

• GMMD는 독일, 보일, 크레딧 세 가지 벤치마크 데이터셋에서 정확도를 유지하거나 향상시키면서도 공정성 지표를 크게 향상시켰다.
• 공정성 정규화를 제어하는 하이퍼파rameter α는 높은 값(0.7, 1.0)일수록 정확도를 떨어뜨리지 않고도 더 나은 공정성 성능을 보였다.
• MLP 레이어 수 M은 비단조화적인 영향을 미쳤으며, 성능은 M=2 또는 M=4에서 최고에 이르렀고, 더 깊은 네트워크에서는 과적합으로 인해 성능이 떨어졌다.
• GMMD-S는 훈련 시간을 줄였음에도 불구하고 GMMD와 유사한 공정성과 정확도를 달성하여 효율성 향상을 입증했다.
• GMMD는 FairGNN, EDITS, FMP와 같은 최신 기술 수준의 기준보다 공정성-정확도 트레이드오프에서 뛰어난 성능을 보였으며, 훈련 시간도 대부분의 기준과 경쟁 가능하거나 더 좋았다.
• 사례 연구 결과, GMMD가 그룹 간 간선에 더 높은 주의를 기울임을 확인하여, 그룹 기반 표현 편향 감소 메커니즘의 타당성을 검증했다.