[논문 리뷰] The Unfairness of Fair Machine Learning: Levelling down and strict egalitarianism by default

Brent Mittelstadt, Sandra Wachter외 1명|arXiv (Cornell University)|2023. 02. 05.

Ethics and Social Impacts of AI인용 수 16

한 줄 요약

본 논문은 많은 공정 ML 관행이 수준 하강으로 이어진다고 주장하고, 최소 피해 임계값과 해를 기반으로 한 프레임워크를 통해 실질적 평등을 옹호한다. 현재의 측정 및 보고 관행을 비판하고, 공정한 ML을 위한 설계 변화를 제안한다.

ABSTRACT

In recent years fairness in machine learning (ML) has emerged as a highly active area of research and development. Most define fairness in simple terms, where fairness means reducing gaps in performance or outcomes between demographic groups while preserving as much of the accuracy of the original system as possible. This oversimplification of equality through fairness measures is troubling. Many current fairness measures suffer from both fairness and performance degradation, or "levelling down," where fairness is achieved by making every group worse off, or by bringing better performing groups down to the level of the worst off. When fairness can only be achieved by making everyone worse off in material or relational terms through injuries of stigma, loss of solidarity, unequal concern, and missed opportunities for substantive equality, something would appear to have gone wrong in translating the vague concept of 'fairness' into practice. This paper examines the causes and prevalence of levelling down across fairML, and explore possible justifications and criticisms based on philosophical and legal theories of equality and distributive justice, as well as equality law jurisprudence. We find that fairML does not currently engage in the type of measurement, reporting, or analysis necessary to justify levelling down in practice. We propose a first step towards substantive equality in fairML: "levelling up" systems by design through enforcement of minimum acceptable harm thresholds, or "minimum rate constraints," as fairness constraints. We likewise propose an alternative harms-based framework to counter the oversimplified egalitarian framing currently dominant in the field and push future discussion more towards substantive equality opportunities and away from strict egalitarianism by default. N.B. Shortened abstract, see paper for full abstract.

연구 동기 및 목표

• 현행 공정 ML 정의가 종종 일부 그룹의 웰빙이나 기회를 감소시키는지에 대한 비판을 제기한다.
• ML에서의 공정함을 분배 원칙으로 평가하기 위해 철학적·법적 및 평등 이론을 검토한다.
• 기존의 공정 ML 관행이 어떻게 수준 하강을 가능하게 하고 충분한 정당화를 제공하지 못하는지 식별한다.
• 엄격한 평등주의를 넘어서 공정 ML에서 실질적 평등에 이르는 설계 지향적 단계들을 제안한다.

제안 방법

• ML 공정성에 적용된 평등과 분배 정의에 관한 철학적·법적 이론을 검토한다.
• 현행 공정 ML 접근에서의 수준 하강의 빈도와 원인을 분석한다.
• 공정 ML에서의 측정, 보고 및 분석 관행을 비판적으로 평가한다.

실험 결과

연구 질문

• RQ1 현행 공정 ML 정의와 측정치가 공정성 제약을 강제할 때 수준 하강을 정당화하는가?
• RQ2 수준 하강을 피하고 실질적 평등을 촉진하도록 ML 공정성을 어떻게 재설계할 수 있는가?
• RQ3 최소 피해 임계값과 같은 어떤 프레임워크가 피해 기반 공정성 접근을 실행 가능하게 할 수 있는가?
• RQ4 ML에서 기본적으로 엄격한 평등주의에 대한 법적·철학적 비판은 무엇인가?

주요 결과

• FairML은 종종 전반적 성능의 희생으로 공정성을 달성하거나 그룹의 수준 하강을 야기한다.
• 공정 ML의 현재 측정 및 보고 관행은 실제로 수준 하강을 정당화하기에 충분하지 않다.
• 실질적 평등 접근은 최소 허용 피해 임계값, 즉 최소 비율 제약을 공정성 제약으로 시행함으로써 강화될 수 있다.
• 대안적 피해 기반 프레임워크는 엄격한 평등주의에서 실질적 평등 기회로 관심의 방향을 전환할 수 있다.