[논문 리뷰] Repairing without Retraining: Avoiding Disparate Impact with Counterfactual Distributions

Hao Wang, Berk Ustun외 1명|arXiv (Cornell University)|2019. 01. 29.

Ethics and Social Impacts of AI인용 수 26

한 줄 요약

이 논문은 재훈련 없이도 흑상자 기계학습 분류기에서의 차별적 영향을 완화하기 위해 불리한 집단을 위한 반사적 입력 분포를 학습하는 방법을 제안한다. 영향 함수의 경사 하강법을 사용하여 재훈련 없이 공정성 지표를 최소화한다. 이 방법은 정확도 저하를 최소화하면서 공정성을 향상시키는 사전 처리를 가능하게 하며, 실제 데이터셋을 통해 상당한 편향 감소가 확인되었다.

ABSTRACT

When the performance of a machine learning model varies over groups defined by sensitive attributes (e.g., gender or ethnicity), the performance disparity can be expressed in terms of the probability distributions of the input and output variables over each group. In this paper, we exploit this fact to reduce the disparate impact of a fixed classification model over a population of interest. Given a black-box classifier, we aim to eliminate the performance gap by perturbing the distribution of input variables for the disadvantaged group. We refer to the perturbed distribution as a counterfactual distribution, and characterize its properties for common fairness criteria. We introduce a descent algorithm to learn a counterfactual distribution from data. We then discuss how the estimated distribution can be used to build a data preprocessor that can reduce disparate impact without training a new model. We validate our approach through experiments on real-world datasets, showing that it can repair different forms of disparity without a significant drop in accuracy.

연구 동기 및 목표

• 재훈련이 불가능한 상황(흑상자 액세스 및 데이터 프라이버시 제약)에서 배포된 기계학습 모델에서의 차별적 영향을 해결하기 위해.
• 모델 자체를 수정하지 않고 불리한 집단의 입력 분포만을 수정하여 공정성을 복구하는 방법을 개발하기 위해.
• 이론적으로 탄탄하고 데이터 기반의 접근 방식을 제공하여 공정성 격차를 최소화하는 반사적 분포를 학습하기 위해.
• 모델 정확도를 유지하면서 불리한 집단의 결과를 향상시키는 사전 처리를 가능하게 하기 위해.
• 의료 및 대출과 같은 공정성에 민감한 애플리케이션에서 민감한 속성을 윤리적이고 법적으로 사용할 수 있도록 지원하기 위해.

제안 방법

• 이 방법은 고정된 분류기 하에서 공정성 지표(예: FPR, DA)를 최소화하는 불리한 집단의 입력 분포에 대한 변형으로 반사적 분포를 정의한다.
• 반사적 분포의 최적화를 단형 확률 분포의 단체에서 경사 하강 절차로 공식화하며, 영향 함수를 사용해 기울기를 계산한다.
• 핵심 공정성 기준에 대해 영향 함수의 폐형 추정기를 유도하여 실증 데이터에서 효율적인 계산을 가능하게 한다.
• 학습 데이터에서의 실증 분포를 사용해 기울기를 추정하고 반사적 분포를 반복적으로 개선한다.
• 불리한 집단의 입력을 추론 이전에 변환하기 위한 사전처리기(프리프로세서)를 반사적 분포 추정치에서 구성한다.
• 실제 데이터셋과 시뮬레이션 실험을 통해 공정성 지표(FPR, DA 등)에 대한 경사 하강을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 흑상자 분류기에서의 차별적 영향을 줄이기 위해 반사적 입력 분포를 학습할 수 있는가?
• RQ2 공정성 최적화를 위한 확률 분포 공간에서 기울기를 계산하기 위해 영향 함수를 어떻게 변형할 수 있는가?
• RQ3 반사적 분포를 기반으로 한 사전 처리가 모델 정확도를 유지하면서도 공정성 향상을 달성할 수 있는가?
• RQ4 표본 불확실성 하에서 추정된 반사적 분포의 통계 수렴 행동은 어떠한가?
• RQ5 공동 프록시가 존재할 때, 이 방법은 프록시 변수 제거 기법보다 우월한가?

주요 결과

• 경사 하강 절차는 시뮬레이션 실험에서 기각률(FPR)을 29.1%에서 4.1%로 감소시켜 강력한 공정성 향상을 입증했다.
• 공동 프록시 상황에서 단일 프록시 변수(X₁)를 제거하면 편향이 14.0%에서 24.8%로 증가하여 단변수 제거의 한계를 보여주었다.
• 제안된 사전처리기를 적용함으로써 공동 프록시 실험에서 편향 지표 DA₀는 14.0%에서 0.0%로 감소하여 효과성을 확인했다.
• 실제 데이터셋 검증 결과, 방법은 공정성을 복구하면서도 높은 모델 정확도를 유지함을 보였다.
• 실증 수렴 경계는 추정된 영향 함수와 공정성 지표가 표본 추출 하에서 일관되며, 오차율이 O(1/√n) 비율로 증가함을 보여주었다.
• 반사적 분포가 유일하지는 않지만, 제안된 방법은 선택된 공정성 지표를 효과적으로 최소화하는 해에 수렴한다.