[論文レビュー] The Unfairness of Fair Machine Learning: Levelling down and strict egalitarianism by default

Brent Mittelstadt, Sandra Wachter+1 more|arXiv (Cornell University)|Feb 5, 2023

Ethics and Social Impacts of AI被引用数 16

ひとこと要約

この論文は、多くの公正なML実践が全体の福祉を低下させる結果を招くと主張し、最低被害閾値と被害ベースの枠組みを通じた実質的平等を提唱する。現在の測定および報告慣行を批判し、公正なMLの設計変更を提案する。

ABSTRACT

In recent years fairness in machine learning (ML) has emerged as a highly active area of research and development. Most define fairness in simple terms, where fairness means reducing gaps in performance or outcomes between demographic groups while preserving as much of the accuracy of the original system as possible. This oversimplification of equality through fairness measures is troubling. Many current fairness measures suffer from both fairness and performance degradation, or "levelling down," where fairness is achieved by making every group worse off, or by bringing better performing groups down to the level of the worst off. When fairness can only be achieved by making everyone worse off in material or relational terms through injuries of stigma, loss of solidarity, unequal concern, and missed opportunities for substantive equality, something would appear to have gone wrong in translating the vague concept of 'fairness' into practice. This paper examines the causes and prevalence of levelling down across fairML, and explore possible justifications and criticisms based on philosophical and legal theories of equality and distributive justice, as well as equality law jurisprudence. We find that fairML does not currently engage in the type of measurement, reporting, or analysis necessary to justify levelling down in practice. We propose a first step towards substantive equality in fairML: "levelling up" systems by design through enforcement of minimum acceptable harm thresholds, or "minimum rate constraints," as fairness constraints. We likewise propose an alternative harms-based framework to counter the oversimplified egalitarian framing currently dominant in the field and push future discussion more towards substantive equality opportunities and away from strict egalitarianism by default. N.B. Shortened abstract, see paper for full abstract.

研究の動機と目的

• 現在の公正MLの定義がしばしば特定のグループの福祉や機会を低下させることを動機づけて批判する。
• 哲学的・法的・平等理論を検討し、MLにおける配分原理としての公平性を評価する。
• 既存の公正ML実践がいかに水準の引き下げと十分な正当化を可能にしているかを特定する。
• 厳密な平等主義を超えた、公正MLにおける実質的平等を目指す設計志向の手順を提案する。

提案手法

• MLの公正性に適用される平等と配分正義の哲学的・法的理論を reviewする。
• 現在の公正MLアプローチにおける水準の引き下げの普及と原因を分析する。
• 公正MLにおける測定・報告・分析実践を批判的に評価する。

実験結果

リサーチクエスチョン

• RQ1 現在の公正MLの定義と測定は、公正性制約を適用する際に水準の引き下げを正当化しているか。
• RQ2 MLの公正性をどのように再設計すれば水準の引き下げを避け、実質的平等を促進できるか。
• RQ3 被害ベースの公正性アプローチを運用化するための枠組み（例：最低被害閾値）は何か。
• RQ4 MLにおけるデフォルトの厳格な平等主義に対する法的・哲学的批評は何か。

主な発見

• 公正MLはしばしば全体的な性能のコストとして公正性を達成するか、あるいは特定グループの水準を引き下げる。
• 公正MLにおける現在の測定と報告の実践は、水準の引き下げを実際に正当化するには不十分である。
• 実質的平等のアプローチは、最低許容被害閾値、すなわち最低レート制約を公正性の制約として課すことで促進できる。
• 別の被害ベースの枠組みは、厳格な平等主義から実質的な平等な機会へ焦点を移す可能性がある。