[논문 리뷰] Biased Edge Dropout for Enhancing Fairness in Graph Representation Learning.

Indro Spinelli, Simone Scardapane외 2명|arXiv (Cornell University)|2021. 04. 29.

Advanced Graph Neural Networks참고 문헌 46인용 수 6

한 줄 요약

이 논문은 동질성에 의해 유도되는 편향을 보완함으로써 그래프 표현 학습에서의 공정성 열등성을 완화하는 편향된 엣지 드롭아웃 방법 FairDrop을 제안한다. 보호되는 특성의 격차를 기반으로 전략적으로 엣지를 제거함으로써 FairDrop은 정확도 저하를 최소화하면서 노드 임베딩과 링크 예측에서 공정성을 향상시킨다. 벤치마크 작업에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

Graph representation learning has become a ubiquitous component in many scenarios, ranging from social network analysis to energy forecasting in smart grids. In several applications, ensuring the fairness of the node (or graph) representations with respect to some protected attributes is crucial for their correct deployment. Yet, fairness in graph deep learning remains under-explored, with few solutions available. In particular, the tendency of similar nodes to cluster on several real-world graphs (i.e., homophily) can dramatically worsen the fairness of these procedures. In this paper, we propose a biased edge dropout algorithm (FairDrop) to counter-act homophily and improve fairness in graph representation learning. FairDrop can be plugged in easily on many existing algorithms, is efficient, adaptable, and can be combined with other fairness-inducing solutions. After describing the general algorithm, we demonstrate its application on two benchmark tasks, specifically, as a random walk model for producing node embeddings, and to a graph convolutional network for link prediction. We prove that the proposed algorithm can successfully improve the fairness of all models up to a small or negligible drop in accuracy, and compares favourably with existing state-of-the-art solutions. In an ablation study, we demonstrate that our algorithm can flexibly interpolate between biasing towards fairness and an unbiased edge dropout. Furthermore, to better evaluate the gains, we propose a new dyadic group definition to measure the bias of a link prediction task when paired with group-based fairness metrics. In particular, we extend the metric used to measure the bias in the node embeddings to take into account the graph structure.

연구 동기 및 목표

• 실제 그래프에서 동질성이 편향을 악화시키는 바람에 발생하는 공정성 인식 그래프 표현 학습의 핵심적 격차를 메운다.
• 보호되는 특성에 기반한 노드 클러스터링이 그래프 신경망에서 불공정한 표현을 초래하는 문제를 해결한다.
• 모델 성능을 훼손하지 않으면서도 즉시 사용이 가능하고 효율적이며 적응 가능한 공정성 향상 방법을 개발한다.
• 그래프 구조를 고려한 새로운 이원군 공정성 지표를 도입하여 링크 예측 작업에서의 편향을 더 잘 평가한다.
• 조정 가능한 편향 기반 메커니즘을 통해 공정성과 정확도의 균형을 유지하는 방법의 유연성을 입증한다.

제안 방법

• 보호되는 특성의 유사성이 높은 노드 간 엣지를 선택적으로 제거함으로써 동질성에 기인한 편향을 줄이는 편향된 엣지 드롭아웃 전략 FairDrop을 제안한다.
• 랜덤 워크 기반의 노드 임베딩 모델과 링크 예측을 위한 그래프 컬러션 네트워크를 포함한 기존 그래프 학습 프레임워크에 FairDrop을 통합한다.
• 낮은 대표성 또는 열등한 집단에 속한 노드를 연결하는 엣지를 우선순위로 하는 미분 가능 엣지 제거 메커니즘을 설계한다.
• 그룹 수준의 공정성 지표에 기반해 엣지 드롭아웃 확률을 동적으로 조정하는 공정성 인식 샘플링 전략을 사용한다.
• 표준 공정성 지표를 확장하여 그래프 구조를 통합함으로써 링크 예측 작업에서의 공정성 평가가 가능하도록 한다.
• 편향 보정 정도를 제어하는 조정 가능한 하이퍼파rameter를 통해 비편향과 공정성 편향 드롭아웃 전략 사이의 탄력적인 인터폴레이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 실제 그래프에서의 동질성이 그래프 표현 학습의 공정성에 부정적인 영향을 미치는 방식은 무엇인가?
• RQ2 간단하고 즉시 사용 가능한 엣지 드롭아웃 메커니즘이 정확도 저하 없이 공정성을 효과적으로 향상시킬 수 있는가?
• RQ3 FairDrop은 다양한 그래프 학습 작업에서 공정성과 성능을 어느 정도 균형 잡을 수 있는가?
• RQ4 제안된 이원군 공정성 지표는 기존 지표에 비해 링크 예측에서의 편향을 더 잘 포착하는가?
• RQ5 FairDrop은 기존 그래프 학습 파이프라인에서 다른 공정성 유도 기법과 효과적으로 통합될 수 있는가?

주요 결과

• FairDrop은 정확도 저하가 미미하거나 없이 노드 임베딩 및 링크 예측 작업 모두에서 공정성을 향상시킨다.
• 벤치마크 그래프 학습 작업에서 기존 최신 기술보다 뛰어난 성능을 보인다.
• 제거 분석을 통해 FairDrop가 공정성 중심과 비편향 엣지 드롭아웃 전략 사이를 탄력적으로 인터폴레이션할 수 있음을 확인한다.
• 제안된 이원군 공정성 지표는 링크 예측에서의 구조적 편향을 효과적으로 포착하며, 기존 지표보다 더 세밀한 평가를 가능하게 한다.
• FairDrop는 GCN과 랜덤 워크 기반 모델을 포함한 다양한 그래프 학습 아키텍처와 호환되어 광범위한 적용 가능성을 보여준다.
• 다양한 실제 그래프 데이터셋에서 강력한 성능을 유지함으로써, 그 방법의 강건성과 적응 가능성은 입증된다.