[논문 리뷰] Does mitigating ML's impact disparity require treatment disparity?

Zachary C. Lipton, Alexandra Chouldechova외 1명|arXiv (Cornell University)|2017. 11. 19.

Advanced Causal Inference Techniques인용 수 81

한 줄 요약

본 논문은 Disparate Learning Processes (DLPs)를 분석하고 이들이 간접적으로 치료 불균형(treatment disparity)을 구현하고, 같은 클래스 내 차별을 초래하며, 정확도-불균형 trade-off를 최적이 아니게 만들 수 있음을 보이며; 그룹별 임계값(thresholding)이 DLP보다 더 나은 성능을 보일 수 있다.

ABSTRACT

Following related work in law and policy, two notions of disparity have come to shape the study of fairness in algorithmic decision-making. Algorithms exhibit treatment disparity if they formally treat members of protected subgroups differently; algorithms exhibit impact disparity when outcomes differ across subgroups, even if the correlation arises unintentionally. Naturally, we can achieve impact parity through purposeful treatment disparity. In one thread of technical work, papers aim to reconcile the two forms of parity proposing disparate learning processes (DLPs). Here, the learning algorithm can see group membership during training but produce a classifier that is group-blind at test time. In this paper, we show theoretically that: (i) When other features correlate to group membership, DLPs will (indirectly) implement treatment disparity, undermining the policy desiderata they are designed to address; (ii) When group membership is partly revealed by other features, DLPs induce within-class discrimination; and (iii) In general, DLPs provide a suboptimal trade-off between accuracy and impact parity. Based on our technical analysis, we argue that transparent treatment disparity is preferable to occluded methods for achieving impact parity. Experimental results on several real-world datasets highlight the practical consequences of applying DLPs vs. per-group thresholds.

연구 동기 및 목표

• ML에서 치료 형평성과 영향 형평성의 구분을 동기 부여하고 형식화한다.
• 보호 특성을 직접 사용하지 않고도 DLP가 영향 형평성을 달성할 수 있는지 평가한다.
• DLP가 언제 간접적 치료 격차나 같은 클래스 내 차별을 유발하는지 특성화한다.
• 실무에서 간단한 그룹별 임계값이 DLP보다 우수한 성능을 보일 수 있는지 평가한다.

제안 방법

• Calders-Verwer(CV) 간격과 p-% 규칙을 영향 형평성 지표로 삼아 이진 보호 특성 설정을 형식화한다.
• 훈련 시 보호 특성을 사용하지만 예측 때에는 사용하지 않는 Disparate Learning Processes(DLPs)를 설명한다.
• 정확도 최적화를 위한 CV 및 p-% 제약하에서 직접적인 그룹별 임계값이 최적임을 입증한다.
• 같은 형평성 제약 하에서 DLP가 그룹 인지 임계값을 사용하는 임계값과 비교하여 비최적임을 보여준다.
• X가 Z를 완전히 또는 부분적으로 인코딩하는 시점에 대한 이론적 결과와 DLP에 대한 함의를 제시한다.
• 합성 데이터, 사례 연구 데이터, 공공 데이터 세트에 대한 실증 분석을 수행하여 실질적 함의를 설명한다.

실험 결과

연구 질문

• RQ1 DLP가 유해한 치료 격차를 유발하지 않으면서 영향 형평성을 안정적으로 달성하는가?
• RQ2 CV 및 p-% 제약 하에서 정확도를 최대화하기 위한 최적 의사 결정 규칙은 무엇인가?
• RQ3 보호 특성이 다른 특징에 중복되거나 부분적으로 인코딩될 때 DLP의 성능은 그룹별 임계값에 비해 어떤가?
• RQ4 실제 데이터셋에서 간단한 그룹별 임계값이 DLP보다 동일하거나 더 나은 형평성과 더 높은 정확도를 달성할 수 있는가?

주요 결과

• 형평성 제약이 존재할 때 보호 속성에 대한 직접적인 치료 격차가 정확도 최대화를 위해 최적이다.
• X가 Z를 완전히 인코딩하면 충분히 강력한 DLP는 치료 격차와 등가하다.
• Z가 X에 부분적으로만 인코딩될 때 DLP는 같은 클래스 내 차별을 유발하고 보호 그룹의 일부 구성원에게 해를 줄 수 있다.
• DLP는 그룹별 임계값에 비해 정확도와 영향 형평성 간의 트레이드오프가 비최적이다.
• 합성 데이터, CS 입학에서의 성별 편향 사례 연구, 공공 데이터 세트에 대한 실증 결과는 임계값이 DLP보다 유사하거나 더 나은 정확도로 더 높은 형평성을 달성할 수 있음을 보인다.
• 임계값 접근 방식은 주어진 정확도에서 거의 100%에 가까운 p-% 형평성에 도달할 수 있어 여러 데이터 세트에서 DLP 기반 방법을 능가한다.