[논문 리뷰] Say No to the Discrimination: Learning Fair Graph Neural Networks with Limited Sensitive Attribute Information

Enyan Dai, Suhang Wang|arXiv (Cornell University)|2020. 09. 03.

Ethics and Social Impacts of AI참고 문헌 51인용 수 13

한 줄 요약

이 논문은 제한된 민감한 속성 정보를 사용하여 그래프 신경망(GNN)의 편향을 완화하는 새로운 프레임워크인 FairGNN을 제안한다. 민감한 속성 추정기와 적대적 편향 제거, 공분산 제약 조건을 결합함으로써 FairGNN은 희소한 민감한 속성 레이블 조건에서도 높은 노드 분류 정확도를 유지하면서도 상당한 공정성 향상을 달성한다.

ABSTRACT

Graph neural networks (GNNs) have shown great power in modeling graph structured data. However, similar to other machine learning models, GNNs may make predictions biased on protected sensitive attributes, e.g., skin color and gender. Because machine learning algorithms including GNNs are trained to reflect the distribution of the training data which often contains historical bias towards sensitive attributes. In addition, the discrimination in GNNs can be magnified by graph structures and the message-passing mechanism. As a result, the applications of GNNs in sensitive domains such as crime rate prediction would be largely limited. Though extensive studies of fair classification have been conducted on i.i.d data, methods to address the problem of discrimination on non-i.i.d data are rather limited. Furthermore, the practical scenario of sparse annotations in sensitive attributes is rarely considered in existing works. Therefore, we study the novel and important problem of learning fair GNNs with limited sensitive attribute information. FairGNN is proposed to eliminate the bias of GNNs whilst maintaining high node classification accuracy by leveraging graph structures and limited sensitive information. Our theoretical analysis shows that FairGNN can ensure the fairness of GNNs under mild conditions given limited nodes with known sensitive attributes. Extensive experiments on real-world datasets also demonstrate the effectiveness of FairGNN in debiasing and keeping high accuracy.

연구 동기 및 목표

• 제한된 민감한 속성이 제공될 때 그래프 신경망(GNN)에서의 공정성 문제를 해결하는 데 초점을 맞춘다.
• GNN의 메시지 전달 메커니즘과 그래프 구조가 초래하는 편향 증폭을 완화하는 데 목적이 있다.
• 희소한 민감한 속성 감독 조건 하에서 높은 분류 정확도를 유지하면서도 공정성을 확보하는 방법을 개발하는 것이다.
• 실제 응용 분야인 직업 순위 매기기 및 범죄 예측과 같은 분야에서 실용적인 공정한 GNN의 구현을 가능하게 하는 것.

제안 방법

• 부족한 레이블을 가진 민감한 속성 정보를 노이즈가 포함된 예측으로 보완하기 위해 민감한 속성 추정기를 도입하여, 레이블이 제한된 조건에서도 공정한 학습을 가능하게 한다.
• 민감한 속성을 노드 표현에서 분리시키기 위해 적대적 학습을 적용함으로써 보호된 특성에 대한 예측 의존도를 감소시킨다.
• 다른 민감한 속성 그룹 간에 표현 분포가 불변이 되도록 공분산 제약 조건을 강제 적용한다.
• 정확도와 공정성을 동시에 최적화하는 통합된 GNN 학습 파이프라인에 이러한 요소들을 통합한다.
• 노이즈가 있고 완전하지 않은 민감한 속성 정보를 처리하기 위해 가중치가 미분 가능한 GAT 기반 아키텍처를 사용한다.
• 편의성과 성능의 균형을 맞추기 위해 하이퍼파rameter α(적대자 강도)와 β(공분산 정규화)를 조정한다.

실험 결과

연구 질문

• RQ1 민감한 속성이 알려진 노드의 소수만 존재할 경우 GNN 프레임워크가 공정성을 달성할 수 있는가?
• RQ2 그래프 구조와 메시지 전달 메커니즘을 어떻게 활용하여 GNN 예측의 편향을 줄일 수 있는가?
• RQ3 희소한 민감한 속성 감독 조건 하에서 공정성과 분류 정확도 사이의 상충 관계는 어떻게 되는가?
• RQ4 레이블이 부여된 민감한 속성 집합의 크기 변화에 대해 제안된 방법의 내성은 어느 정도인가?
• RQ5 공정성을 최적화하면서 모델 성능을 떨어뜨리지 않는 하이퍼파rameter 설정은 무엇인가?

주요 결과

• FairGNN은 모든 데이터셋에서 민감한 성별 차이(ΔSP)를 크게 감소시켰으며, 기준 GNN보다 ΔSP가 최대 60% 감소하였다.
• Pokec-z 데이터셋에서 FairGAT은 민감한 속성 레이블이 500개 뿐일 때도 ROC AUC가 90% 이상을 유지하였다.
• 민감한 속성 레이블 수가 2000개로 증가할 경우 FairGAT의 분류 성능은 안정적이거나 약간 향상되었지만, 기준 모델들은 엄격한 정규화 조건에서 성능이 떨어지는 것으로 나타났다.
• 파라미터 민감도 분석 결과, α ∈ [0.001, 0.01] 및 β ∈ [5, 20] 범위에서 최적의 성능을 보였으며, 이는 공정성과 정확도 사이의 균형을 잘 맞춘 것으로 확인되었다.
• 노이즈가 있고 완전하지 않은 민감한 속성 추정 정보가 존재하더라도 편향을 효과적으로 감소시켜 데이터 희소성에 대한 강건성을 입증하였다.
• 이론적 분석을 통해 제한된 민감한 속성이 제공될 경우 FairGNN이 온건한 조건 하에서 공정성을 보장함을 확인하였다.