[논문 리뷰] Data preprocessing to mitigate bias: A maximum entropy based approach

L. Elisa Celis, Vijay Keswani외 1명|arXiv (Cornell University)|2019. 06. 05.

Ethics and Social Impacts of AI참고 문헌 36인용 수 21

한 줄 요약

이 논문은 최대 엔트로피 기반의 데이터 전처리 프레임워크를 제안하여, 원본 데이터에 대한 충실도를 유지하면서도 큰 도메인에서 공정한 분포를 학습함으로써 데이터셋 내 편향을 완화한다. 다항시간 최적화를 통해 통계적 평등성과 제어된 그룹 표현을 효율적으로 구현하여, 후속 분류 작업에서 정확도 저하를 최소화하면서도 공정성을 달성한다.

ABSTRACT

Data containing human or social attributes may over- or under-represent groups with respect to salient social attributes such as gender or race, which can lead to biases in downstream applications. This paper presents an algorithmic framework that can be used as a data preprocessing method towards mitigating such bias. Unlike prior work, it can efficiently learn distributions over large domains, controllably adjust the representation rates of protected groups and achieve target fairness metrics such as statistical parity, yet remains close to the empirical distribution induced by the given dataset. Our approach leverages the principle of maximum entropy - amongst all distributions satisfying a given set of constraints, we should choose the one closest in KL-divergence to a given prior. While maximum entropy distributions can succinctly encode distributions over large domains, they can be difficult to compute. Our main contribution is an instantiation of this framework for our set of constraints and priors, which encode our bias mitigation goals, and that runs in time polynomial in the dimension of the data. Empirically, we observe that samples from the learned distribution have desired representation rates and statistical rates, and when used for training a classifier incurs only a slight loss in accuracy while maintaining fairness properties.

연구 동기 및 목표

• 성별이나 인종과 같은 보호 그룹이 과도하게 또는 부족하게 표현되는 데이터셋 내 편향을 해결하기 위해.
• 원본 데이터 분포를 왜곡하지 않으면서도 공정성을 유지하는 확장 가능한 전처리 방법을 개발하기 위해.
• 공정성 제약 조건을 만족하면서도 보호 그룹의 표현 비율을 제어 가능한 방식으로 조정하기 위해.
• 다항시간 내에 실행되어 고차원 데이터에 적용 가능한 방법을 확보하기 위해.
• 통계적 평등성 및 기타 공정성 지표를 달성하면서도 후속 작업에서 모델 정확도를 유지하기 위해.

제안 방법

• 공정성 제약 조건을 만족하는 조건 하에 사전 분포와 카누르-라이블러(KL) 발산에서 가장 가까운 분포를 선택하기 위해 최대 엔트로피 원리를 활용한다.
• 통계적 평등성을 달성하기 위해 보호 그룹의 목표 표현 비율을 강제하는 제약 조건을 정의한다.
• 큰 도메인에서 다항시간 계산이 가능한 다루기 쉬운 최적화 공식을 사용한다.
• 원본 데이터셋에 대한 충실도를 유지하기 위해 경험적 데이터 분포를 바탕으로 사전 분포를 구성한다.
• 제약 조건이 있는 최적화 문제를 효율적으로 해결하기 위해 라그랑주 승수법을 적용한다.
• 후속 학습에 사용하기 위해 학습된 공정한 분포에서 재가중 또는 합성 샘플을 생성한다.

실험 결과

연구 질문

• RQ1 최대 엔트로피 프레임워크가 다항시간 확장성 보장과 함께 데이터 전처리 단계에서 편향 완화에 효과적으로 적용될 수 있는가?
• RQ2 경험적 데이터 분포에 가까이 머무르면서도, 메서드가 그룹 표현 비율을 얼마나 잘 제어할 수 있는가?
• RQ3 후속 분류 작업에서 학습된 분포를 사용할 경우, 공정성-정확도 트레이드오프는 어떻게 행동하는가?
• RQ4 전처리 단계에서 모델 예측값에 접근할 필요 없이도 통계적 평등성 및 기타 공정성 지표를 달성할 수 있는가?
• RQ5 고차원 데이터셋에서 이 방법의 계산 효율성은 어떠한가?

주요 결과

• 제안된 방법은 다항시간 복잡도를 갖는 큰 도메인에서 공정한 분포를 성공적으로 학습한다.
• 학습된 분포에서 추출된 샘플은 보호 그룹의 원하는 표현 비율을 달성한다.
• 원본 데이터 분포에서의 명백한 이탈 없이도 통계적 평등성 및 기타 공정성 지표를 유지한다.
• 재가중된 데이터로 훈련된 후속 분류기들은 공정성을 유지하면서도 정확도 저하가 미미하다.
• 공정성과 충실도를 효과적으로 균형 잡고 있어, 실세계 데이터셋에 대한 실용적 타당성을 입증한다.