[논문 리뷰] FairGen: Towards Fair Graph Generation

Lecheng Zheng, Dawei Zhou외 4명|arXiv (Cornell University)|2023. 03. 30.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

FairGen은 표본 그래프에서 보호 그룹에 대한 편향을 줄이기 위해 레이블 정보와 사용자 정의된 평등성 제약 조건을 통합하는 정의성 인식 그래프 생성 모델이다. 간단한 패턴에서 어려운 패턴으로 점진적으로 학습하는 자기주도 학습을 활용하여 고품질의 그래프를 생성함으로써 보호 그룹에 대한 편향을 감소시키며, 데이터 증강을 통해 최대 17%까지 후행 작업 성능을 향상시킨다.

ABSTRACT

There have been tremendous efforts over the past decades dedicated to the generation of realistic graphs in a variety of domains, ranging from social networks to computer networks, from gene regulatory networks to online transaction networks. Despite the remarkable success, the vast majority of these works are unsupervised in nature and are typically trained to minimize the expected graph reconstruction loss, which would result in the representation disparity issue in the generated graphs, i.e., the protected groups (often minorities) contribute less to the objective and thus suffer from systematically higher errors. In this paper, we aim to tailor graph generation to downstream mining tasks by leveraging label information and user-preferred parity constraints. In particular, we start from the investigation of representation disparity in the context of graph generative models. To mitigate the disparity, we propose a fairness-aware graph generative model named FairGen. Our model jointly trains a label-informed graph generation module and a fair representation learning module by progressively learning the behaviors of the protected and unprotected groups, from the `easy' concepts to the `hard' ones. In addition, we propose a generic context sampling strategy for graph generative models, which is proven to be capable of fairly capturing the contextual information of each group with a high probability. Experimental results on seven real-world data sets, including web-based graphs, demonstrate that FairGen (1) obtains performance on par with state-of-the-art graph generative models across nine network properties, (2) mitigates the representation disparity issues in the generated graphs, and (3) substantially boosts the model performance by up to 17% in downstream tasks via data augmentation.

연구 동기 및 목표

• 보호 그룹(소수자)이 비지도 학습 목표로 인해 체계적으로 저조하게 표현되는 그래프 생성 모델의 표현 이질성 문제를 해결하기 위해.
• 레이블 정보와 사용자가 선호하는 공정성 제약 조건을 통합하여 후행 탐색 작업에 맞게 그래프 생성을 맞춤화하기 위해.
• 보편적 및 비보호 그룹에 대한 공정한 표현 학습을 보장함으로써 합성 그래프의 편향을 완화하기 위해.
• 고확률로 그룹별 특성 정보를 공정하게 캡처할 수 있는 일반화된 컨텍스트 샘플링 전략을 개발하기 위해.
• 공정성 인식 생성이 데이터 증강을 통해 후행 모델 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• FairGen은 더 단순한(유스태틱한) 패턴에서 시작하여 복잡한 패턴으로 점진적으로 학습하는 자기주도 학습 프레임워크를 사용하여 보호 그룹의 행동을 더 잘 포착할 수 있도록 한다.
• 레이블 기반 그래프 생성 모듈과 공정한 표현 학습 모듈을 동시에 최적화하여 합성 그래프가 실제 세계의 구조적 및 레이블 분포와 일치하도록 한다.
• 보호 그룹과 비보호 그룹 양측에서의 컨텍스트 정보를 고확률로 캡처하기 위해 새로운 컨텍스트 샘플링 전략을 도입한다.
• 공정성 제약 조건 하에서 최소화되는 복원 손실을 사용하여 少수자 및 다수자 그룹이 학습 목표에 균형 있게 기여하도록 보장한다.
• 그래프 구조의 정확성과 표현 학습의 공정성이라는 이중 목표 손실을 사용하여 엔드 투 엔드로 프레임워크를 훈련시킨다.
• 노드 표현을 Node2Vec 등의 모델에서 추출하여 시각화 및 평가에 활용함으로써 그룹 간의 위상적 구조 유지가 보장된다.

실험 결과

연구 질문

• RQ1 공정성 제약 조건을 그래프 생성 모델에 효과적으로 통합하여 표현 이질성을 감소시킬 수 있는가?
• RQ2 자기주도 학습은 그래프 생성에서 저조하게 표현되는(보호되는) 그룹의 모델링을 어떻게 향상시키는가?
• RQ3 레이블 기반 생성은 데이터 증강을 통해 후행 작업 성능을 얼마나 향상시킬 수 있는가?
• RQ4 일반화된 컨텍스트 샘플링 전략은 합성 그래프에서 보호 그룹과 비보호 그룹을 공정하게 표현할 수 있는가?
• RQ5 FairGen은 네트워크 성질을 유지하면서 공정성을 확보하는 데 있어 최신 기술 대비 어떻게 비교되는가?

주요 결과

• FairGen은 일곱 개인 실세계 데이터셋에서 아홉 가지 네트워크 성질에 대해 최신 기술 대비 유사한 성능을 달성한다.
• t-SNE 시각화에서 보호 그룹의 위상적 유지가 향상됨으로써 FairGen이 표현 이질성을 효과적으로 완화함을 입증한다.
• FairGen은 데이터 증강을 통해 후행 모델 성능을 최대 17% 향상시키며, 실제 응용 분야에서의 유용성을 입증한다.
• 제안된 컨텍스트 샘플링 전략은 그룹별 특성 정보를 고확률로 캡처하여 표현 학습의 공정성을 향상시킨다.
• NetGAN, GAE, TagGen 등의 베이스라인과 비교해 FairGen은 보호 그룹과 비보호 그룹 간의 구조적 및 레이블 기반 차이를 더 잘 유지한다.
• 자기주도 학습 메커니즘은 보호 그룹의 복잡한 패턴을 점진적으로 학습함으로써 생성 과정에서의 체계적 편향을 감소시킨다.