[논문 리뷰] Representative & Fair Synthetic Data

Paul Tiwald, Alexandra Ebert외 1명|arXiv (Cornell University)|2021. 04. 07.

Ethics and Social Impacts of AI참고 문헌 7인용 수 7

한 줄 요약

이 논문은 자기지도 학습 기반 생성 모델의 훈련 과정에 공정성 제약 조건—특히 통계적 평등성—을 통합하여 대표성 있고 공정한 합성 표본 데이터를 생성하는 프레임워크를 제안한다. 모델의 목적 함수에 공정성 손실를 추가함으로써, UCI Adult 데이터셋에서 성별 및 인종에 대한 편향을 완화하면서도 통계적 관계를 유지할 수 있었으며, 결과적으로 공정성 최적화 없이도 후행 모델이 보호 그룹에 대해 거의 동일한 경향 점수를 부여하게 되었다.

ABSTRACT

Algorithms learn rules and associations based on the training data that they are exposed to. Yet, the very same data that teaches machines to understand and predict the world, contains societal and historic biases, resulting in biased algorithms with the risk of further amplifying these once put into use for decision support. Synthetic data, on the other hand, emerges with the promise to provide an unlimited amount of representative, realistic training samples, that can be shared further without disclosing the privacy of individual subjects. We present a framework to incorporate fairness constraints into the self-supervised learning process, that allows to then simulate an unlimited amount of representative as well as fair synthetic data. This framework provides a handle to govern and control for privacy as well as for bias within AI at its very source: the training data. We demonstrate the proposed approach by amending an existing generative model architecture and generating a representative as well as fair version of the UCI Adult census data set. While the relationships between attributes are faithfully retained, the gender and racial biases inherent in the original data are controlled for. This is further validated by comparing propensity scores of downstream predictive models that are trained on the original data versus the fair synthetic data. We consider representative & fair synthetic data a promising future building block to teach algorithms not on historic worlds, but rather on the worlds that we strive to live in.

연구 동기 및 목표

• 기계 학습에서의 체계적 편향을 해결하기 위해 데이터 생성 단계에서 공정성을 제어하는 것.
• 원본 데이터와 유사하면서도 성별, 인종과 같은 보호 속성에 대해 공정한 합성 데이터를 생성하는 방법을 개발하는 것.
• 공정성이 데이터 생성 과정에 직접 통합될 수 있음을 보여주어, 학습 알고리즘을 수정하지 않고도 후행 모델의 편향을 줄이는 것.
• 합성 데이터 생성 과정에서의 공정성 제약 조건이 프oxy 편향을 효과적으로 줄이고 데이터 품질을 유지하는지 검증하는 것.

제안 방법

• 표준 정확도 손실 외에 공정성 손실를 생성 모델의 훈련 목표 함수에 통합하여 데이터 충실도와 공정성 양자를 최적화하는 것.
• 통계적 평등성을 공정성 정의로 사용하며, 보호 그룹(예: 남성 대비 여성) 간에 양성 결과(예: 높은 소득)의 확률이 동일하도록 설정하는 것.
• 실제 통계적 평등성에서의 이탈 정도에 비례하는 페널티로 공정성 손실를 정의함으로써, 정확도와 공정성 간의 트레이드오프를 가중치 조합을 통해 제어할 수 있도록 하는 것.
• 성별과 인종을 보호 속성으로 삼아 Adult 데이터셋에서 종합적으로 모델을 훈련하고, 합성 과정 중에 공정성 제약 조건을 적용하는 것.
• 원본 데이터의 단변량 및 이변량 통계 분포를 유지하여 합성 샘플의 대표성을 확보하는 것.
• 합성 데이터와 원본 데이터를 기반으로 훈련된 후행 로지스틱 회귀 모델의 경향 점수를 분석하여 공정성을 평가하는 것.

실험 결과

연구 질문

• RQ1 공정성 제약 조건을 효과적으로 데이터 생성 과정에 통합하여 대표성 있고 공정한 합성 데이터를 생성할 수 있는가?
• RQ2 공정성 손실를 가진 생성 모델을 훈련하면, 공정성 최적화 없이도 후행 예측 모델의 편향을 줄일 수 있는가?
• RQ3 공정성 제약 조건이 감정적 속성(예: 프록시 변수)을 통해 민감 속성을 간접적으로 표현하는 정도는 어느 정도인가?
• RQ4 여러 공정성 제약 조건(예: 성별과 인종에 대한 동시에 적용)이 교차 그룹 간 결과 균형에 어떤 영향을 미치는가?

주요 결과

• 합성 데이터는 성별에 대해 0.88의 불균형 영향 비율을 기록하여, 0.8 기준선(4분의 5 법칙)을 초과했으며, 원본 데이터의 0.33과 비교해 상당한 편향 완화를 보였다.
• 원본 데이터의 단변량 및 이변량 통계 분포가 합성 데이터에서도 유지되어, 높은 대표성을 확인하였다.
• 성별과 프록시 속성 간 상관관계는 유지되었지만, 프록시 속성과 소득 간 상관관계는 상당히 감소하여, 프록시 편향이 효과적으로 완화되었음을 보여주었다.
• 합성 데이터를 기반으로 훈련된 후행 로지스틱 회귀 모델은 공정성 제약 조건을 적용하지 않았음에도 불구하고 남성과 여성에게 거의 동일한 경향 점수를 부여하였다.
• 합성 모델은 경쟁력 있는 성능(정확도 84.13%, AUC 88.34%)을 달성하여, 공정성이 예측 성능에 손해를 주지 않음을 보여주었다.
• 인종과 성별에 동시에 공정성 제약 조건을 적용한 경우, 모든 네 가지 교차 그룹(예: 백인 남성, 흑인 여성) 간 고소득 비율이 상당히 균형을 이루었으며, 공정성 손실 가중치를 높임으로써 추가로 향상 가능함을 확인하였다.