[논문 리뷰] FMP: Toward Fair Graph Message Passing against Topology Bias

Zhimeng Jiang, Xiaotian Han외 5명|arXiv (Cornell University)|2022. 02. 08.

Advanced Graph Neural Networks인용 수 14

한 줄 요약

이 논문은 Fair Message Passing (FMP)를 제안하며, 공통 최적화를 통해 정점 표현의 편향을 줄이는 새로운 그래프 메시지 전파 프레임워크이다. FMP는 편향을 줄이기 위해 위상에 기인한 편향을 명시적으로 다루며, 최소한의 계산 오버헤드로 예측 능력이 뛰어난 공정한 노드 표현을 학습한다. FMP는 Fenchel 쌍대성과 경사 하강법을 사용하여, 실제 데이터셋에서 최신 기법들보다 공정성-정확도 트레이드오프에서 뛰어난 성능을 보였다.

ABSTRACT

Despite recent advances in achieving fair representations and predictions through regularization, adversarial debiasing, and contrastive learning in graph neural networks (GNNs), the working mechanism (i.e., message passing) behind GNNs inducing unfairness issue remains unknown. In this work, we theoretically and experimentally demonstrate that representative aggregation in message-passing schemes accumulates bias in node representation due to topology bias induced by graph topology. Thus, a extsf{F}air extsf{M}essage extsf{P}assing (FMP) scheme is proposed to aggregate useful information from neighbors but minimize the effect of topology bias in a unified framework considering graph smoothness and fairness objectives. The proposed FMP is effective, transparent, and compatible with back-propagation training. An acceleration approach on gradient calculation is also adopted to improve algorithm efficiency. Experiments on node classification tasks demonstrate that the proposed FMP outperforms the state-of-the-art baselines in effectively and efficiently mitigating bias on three real-world datasets.

연구 동기 및 목표

• 표준 GNN 메시지 전파가 민감한 속성의 고밀도 동질성(예: 높은 민감 속성 동질성)을 가진 그래프에서 위상 편향으로 인해 표현 편향이 어떻게 악화되는지 조사한다.
• 후행 정규화나 적대적 훈련에 의존하지 않고, 메시지 전파 수준에서 투명하고 효율적이며 역전파 호환성을 갖춘 방법을 개발한다.
• 공정성과 그래프 스무딩 목표를 하나의 최적화 프레임워크에 통합하여 공정하고 예측 능력이 뛰어난 노드 표현을 생성한다.
• 소프트맥스 함수의 성질을 활용하여 제안된 프레임워크에서의 경사 하강 계산을 가속화하여 훈련 효율성을 향상시킨다.

제안 방법

• 라그랑주 듀얼 접근법을 사용하여 공정성(민감성 평등성 차이 최소화)과 예측 성능(그래프 스무딩)을 균형 잡는 공동 최적화 문제를 수립한다.
• Fenchel 쌍대성을 적용하여 듀얼 문제를 경사 기반 최적화에 적합한 원형 문제로 변환한다.
• 민감한 속성 정보를 메시지 전파 집계 과정에 통합하여 위상 편향을 보완한다.
• 확률 공간에서의 변형 벡터에 대한 경사 업데이트 규칙을 유도하여, 예측 성능을 훼손하지 않으면서 공정성을 제어한다.
• 소프트맥스 함수의 미분 가능성과 안정성을 활용하여 원형 변수에 대한 경사 계산을 가속화한다.
• 표준 역전파와의 호환성을 확보하기 위해, 미분 가능하고 종단 간 훈련이 가능한 메시지 전파 메커니즘을 설계한다.

실험 결과

연구 질문

• RQ1 그래프 구조의 위상 편향이 표준 GNN 메시지 전파에서 표현 편향을 어떻게 악화시키는가?
• RQ2 위상 편향을 보완함으로써 예측 성능를 유지하면서 공정성을 향상시킬 수 있는 메시지 전파를 재설계할 수 있는가?
• RQ3 위상 편향 하에서 노드 표현 최적화 시 그래프 스무딩, 공정성, 그리고 이들의 이론적 관계는 무엇인가?
• RQ4 정확도나 공정성에 손실 없이, 공정성 인식 메시지 전파 프레임워크에서의 경사 계산을 어떻게 가속화할 수 있는가?

주요 결과

• FMP는 모든 세 개의 실세계 데이터셋(Pokec-n, Pokec-z, NBA)에서 민감성 평등성 차이(DP)를 크게 감소시켜, 최신 기법들보다 뛰어난 공정성 완화 성능을 입증했다.
• Pokec-n 데이터셋에서 FMP는 최고의 베이스라인 대비 32.7% 낮은 DP 차이를 기록했으며, 정확도는 유사하거나 더 높게 유지했다.
• 제안된 가속화 방법은 가장 느린 베이스라인(APPNP) 대비 최대 64.07%의 경사 계산 오버헤드를 감소시켜, 대규모 그래프에서도 FMP가 효율적임을 입증했다.
• 하이퍼파ram터 분석 결과, 스무딩 하이퍼파라미터는 정확도와 편향에 강한 영향을 미치며, 최적의 공정성 하이퍼파라미터가 공정성과 성능 간 최적의 트레이드오프를 이룬다.
• 정규화 및 적대적 탈편향 기법보다 FMP가 공정성과 효율성 측면에서 모두 뛰어나며, 기존 GCN 대비 Pokec-z에서 오직 15.03%의 시간 오버헤드만을 기록했다.
• 실증 결과는 민감한 동질성 비율이 높을수록(예: Pokec-n에서 95.30%) 편향 악화가 더 심해지는 경향이 있음을 확인하여, 논문의 이론적 분석을 뒷받침했다.