[논문 리뷰] Fair Node Representation Learning via Adaptive Data Augmentation

O. Deniz Kose, Yanning Shen|arXiv (Cornell University)|2022. 01. 21.

Advanced Graph Neural Networks인용 수 14

한 줄 요약

이 논문은 그래프에서 공정한 노드 표현 학습을 위한 적응형 데이터 증강 기법을 제안하며, GNNs에서 노드 특성과 그래프 구조 양 측면에서 발생하는 편향을 다룹니다. 민감한 속성에 기반해 특성의 동적 마스킹과 노드 샘플링, 또는 간선 추가/삭제를 통해 편향을 줄입니다. 이로 인해 통계적 평등성과 동등 기회와 같은 공정성 위반을 감소시키면서도, 실제 네트워크에서 최신 대비 학습 방법과 유사한 성능을 유지합니다.

ABSTRACT

Node representation learning has demonstrated its efficacy for various applications on graphs, which leads to increasing attention towards the area. However, fairness is a largely under-explored territory within the field, which may lead to biased results towards underrepresented groups in ensuing tasks. To this end, this work theoretically explains the sources of bias in node representations obtained via Graph Neural Networks (GNNs). Our analysis reveals that both nodal features and graph structure lead to bias in the obtained representations. Building upon the analysis, fairness-aware data augmentation frameworks on nodal features and graph structure are developed to reduce the intrinsic bias. Our analysis and proposed schemes can be readily employed to enhance the fairness of various GNN-based learning mechanisms. Extensive experiments on node classification and link prediction are carried out over real networks in the context of graph contrastive learning. Comparison with multiple benchmarks demonstrates that the proposed augmentation strategies can improve fairness in terms of statistical parity and equal opportunity, while providing comparable utility to state-of-the-art contrastive methods.

연구 동기 및 목표

• GNNs를 통해 학습된 노드 표현에서 발생하는 편향의 원인을 특정하고 분석하는 것, 특히 노드 특성과 그래프 구조에서 기인하는 편향을 중심으로 한다.
• 노드 특성과 그래프 구조를 동시에 적응적으로 수정함으로써 내재된 편향을 완화하는 공정성 인식 데이터 증강 전략을 개발하는 것.
• 제안된 방법이 다양한 GNN 기반 학습 프레임워크(대비 학습 포함)와 호환되며, 계산적으로 효율적인지 확보하는 것.
• 특성 마스킹과 노드 샘플링 증강 기법이 편향 성분을 줄이는 데 있어 이론적으로 타당성을 입증하는 것.
• 실제 네트워크에서의 경험적 검증을 통해 노드 분류 및 링크 예측 작업에서 공정성 지표 향상과 유용성 유지 여부를 입증하는 것.

제안 방법

• 민감한 속성에 기반해 노드 특성을 선택적으로 마스킹함으로써 편향 전파를 줄이는 적응형 특성 마스킹 기법을 도입한다.
• 민감 그룹과 비민감 그룹 양측에서 노드를 샘플링함으로써 표현 학습의 균형을 맞추는 적응형 노드 샘플링 기법을 제안한다.
• 민감 그룹과 비민감 그룹 간 이웃도수를 동일하게 하기 위해 간선 추가 또는 삭제 전략을 설계한다. 이는 구조적 편향을 최소화한다.
• 이론적 분석을 통해 특성 편향과 구조적 편향을 각각 나타내는 편향 성분 γ₁과 γ₂를 식별한다.
• γ₁과 γ₂를 최소화하는 방식으로 증강을 적용하며, 최적의 증강 기법을 분석하여 설계의 타당성을 검증한다.
• 대비 학습과 호환되며, GNN 파ip라인 내 다른 공정성 향상 기법과 통합 가능하다.

실험 결과

연구 질문

• RQ1 GNNs를 통해 학습된 노드 표현에서 발생하는 주요 편향의 원인은 무엇이며, 노드 특성과 그래프 구조 양 측면에서 어떻게 기인하는가?
• RQ2 모델의 유용성에 영향을 주지 않으면서 어떻게 적응형 데이터 증강을 설계하여 노드 표현의 편향을 줄일 수 있는가?
• RQ3 적응형 특성 마스킹과 노드 샘플링이 통계적 평등성과 동등 기회와 같은 공정성 위반을 어느 정도 감소시킬 수 있는가?
• RQ4 제안된 증강 기법이 다양한 실제 그래프 네트워크에서 이론적으로 타당성과 경험적으로 검증 가능할 수 있는가?
• RQ5 제안된 적응형 증강 전략은 최신 대비 학습 방법과 비교해 공정성과 성능 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 적응형 데이터 증강은 최적의 경우 γ₁(특성 편향)을 0.00으로, γ₂(구조적 편향)를 0.00으로 줄여 강력한 이론적 기반을 입증한다.
• Pokec 네트워크에서 노드 샘플링을 통해 γ₁을 0.66에서 0.00으로, 간선 삭제를 통해 γ₂를 0.90에서 0.00으로 줄여 편향 감소 효과를 명확히 보였다.
• 통계적 평등성과 동등 기회 측면에서 공정성이 향상되었으며, 기준 대비 학습 방법보다 공정성 지표에서 뛰어난 성능을 보였다.
• 편향 감소에도 불구하고, 노드 분류 및 링크 예측 작업에서 최신 대비 학습 모델과 유사한 수준의 유용성을 유지했다.
• 간선 추가 시 일부 경우 γ₁이 0.73으로 증가하여 증강 단계 간 간섭이 발생함을 시사하며, 순차적 설계의 중요성을 강조한다.
• 비적응형 대비 저비용의 추가 계산 비용을 유발하여 대규모 그래프에 실용적으로 적용 가능하다.