[논문 리뷰] Residual Unfairness in Fair Machine Learning from Prejudiced Data

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|2018. 06. 07.

Ethics and Social Impacts of AI참고 문헌 14인용 수 44

한 줄 요약

이 논문은 차별적이고 편향된 학습 데이터에서의 공정성 조정이 대상 집단에서 잔여 불공정성을 야기할 수 있음을 보여주고, 이 편향을 평가하고 수정하기 위한 샘플 재가중을 제안하며, SQF 데이터로 예시를 제시한다.

ABSTRACT

Recent work in fairness in machine learning has proposed adjusting for fairness by equalizing accuracy metrics across groups and has also studied how datasets affected by historical prejudices may lead to unfair decision policies. We connect these lines of work and study the residual unfairness that arises when a fairness-adjusted predictor is not actually fair on the target population due to systematic censoring of training data by existing biased policies. This scenario is particularly common in the same applications where fairness is a concern. We characterize theoretically the impact of such censoring on standard fairness metrics for binary classifiers and provide criteria for when residual unfairness may or may not appear. We prove that, under certain conditions, fairness-adjusted classifiers will in fact induce residual unfairness that perpetuates the same injustices, against the same groups, that biased the data to begin with, thus showing that even state-of-the-art fair machine learning can have a "bias in, bias out" property. When certain benchmark data is available, we show how sample reweighting can estimate and adjust fairness metrics while accounting for censoring. We use this to study the case of Stop, Question, and Frisk (SQF) and demonstrate that attempting to adjust for fairness perpetuates the same injustices that the policy is infamous for.

연구 동기 및 목표

• 역사적 편향으로 인한 체계적인 데이터 검열이 학습 정책의 공정성에 미치는 영향을 형식화한다.
• 잔여 불공정성이 공정성 조정 후 어떤 조건에서 발생하는지 특성화한다.
• 검열하에서 대상 집단의 공정성 지표를 추정하기 위한 샘플 재가중을 제안한다.
• SQF 프레임워크를 실제 데이터에 적용하여 편향 확산과 조정을 설명한다.
• MAR(무작위로 누락) 검열하에서 공정성을 평가하고 수정하기 위한 지침을 제공한다.

제안 방법

• Z 로그/검열 메커니즘과 대상 집단 T를 정의하여 실제 모집단에서의 공정성을 연구한다.
• 기회 동일성(equal opportunity)과 동등한 오즈(equalized odds)를 공정성 기준으로 사용하고 그룹별 점수 기반 후처리 임계치를 도출한다.
• 훈련 데이터의 공정성이 대상 모집단으로 전달되지 않을 때의 공정성 손실의 척도로서 '기회의 잔여 불평등'(residual inequity of opportunity)을 도입한다.
• 점수 분포와 1차 확률 우위(first-order stochastic dominance)에 대한 명제로 잔여 불공정을 나타낸다(편향 확산에 대한 충분조건).
• MAR 가정하에 ˜p(x, a)로 표본 재가중을 도입하여 검열 데이터로부터 대상 모집단의 지표를 추정한다.
• 중지 Stop, Question, and Frisk(SQF) 사례연구로 접근법을 시연하여 검열이 공정성 조정에 미치는 영향을 드러낸다.

실험 결과

연구 질문

• RQ1 훈련 데이터의 검열이 공정성 조정을 적용한 후 잔여 불공정을 유발하는 조건은 무엇인가?
• RQ2 대상 모집단에서 보호된 그룹 간의 잔여 기회의 불평등을 어떻게 정량화하고 탐지할 수 있는가?
• RQ3 데이터가 MAR이고 Z(로깅)가 T(대상) 모집단과 다를 때 샘플 재가중으로 대상 모집단의 공정성 지표를 복구할 수 있는가?
• RQ4 실제 편향된 정책(SQF)이 공정 ML에서 편향-들어오름(bias-in, bias-out)을 어떻게 보여주는가?

주요 결과

• 검열된 데이터에 기반한 공정성 조정은 학습 데이터에서 편견을 겪은 같은 보호 그룹에 불리한 잔여 불공정을 야기할 수 있다.
• 제안은 로깅 정책에서의 의심의 여지 차별화가 대상 모집단에서 비제로 기회의 불평등으로 이어질 수 있음을 보인다.
• 강한 및 약한 의심의 여지 차별성 조건은 대부분의 비트리비얼(Equal-opportunity) 분류기가 검열하에서 불공정하다는 것을 시사한다.
• MAR 기반의 샘플 재가중은 검열 데이터에서 대상 모집단의 진짜 양성/거짓양성 비율을 추정하는 방법을 제공한다.
• SQF 분석은 교육/대상 모집단이 지리적 및 인구통계학적으로 다를 때 공정성 수정이 불의를 지속시킬 수 있음을 보여준다.