[论文解读] Are There Exceptions to Goodhart's Law? On the Moral Justification of Fairness-Aware Machine Learning

Hilde Weerts, Lambèr Royakkers+1 more|arXiv (Cornell University)|Feb 17, 2022

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出一个道德推理框架，用以评估在何种情况下公平感知的机器学习（fair-ml）技术具有正当性，主张仅在涉及个体效用及对利益或负担的道德主张的特定条件下，诸如人口均等和机会均等之类的公平性度量才能构成干预的正当理由。研究指出，通过算法（尤其是Hardt等人，2016年提出的后处理方法）优化这些度量，可能因诸如‘水平下降’和不一致性等副作用而导致不公正结果，即使度量本身被满足。

ABSTRACT

Fairness-aware machine learning (fair-ml) techniques are algorithmic interventions designed to ensure that individuals who are affected by the predictions of a machine learning model are treated fairly. The problem is often posed as an optimization problem, where the objective is to achieve high predictive performance under a quantitative fairness constraint. However, any attempt to design a fair-ml algorithm must assume a world where Goodhart's law has an exception: when a fairness measure becomes an optimization constraint, it does not cease to be a good measure. In this paper, we argue that fairness measures are particularly sensitive to Goodhart's law. Our main contributions are as follows. First, we present a framework for moral reasoning about the justification of fairness metrics. In contrast to existing work, our framework incorporates the belief that whether a distribution of outcomes is fair, depends not only on the cause of inequalities but also on what moral claims decision subjects have to receive a particular benefit or avoid a burden. We use the framework to distil moral and empirical assumptions under which particular fairness metrics correspond to a fair distribution of outcomes. Second, we explore the extent to which employing fairness metrics as a constraint in a fair-ml algorithm is morally justifiable, exemplified by the fair-ml algorithm introduced by Hardt et al. (2016). We illustrate that enforcing a fairness metric through a fair-ml algorithm often does not result in the fair distribution of outcomes that motivated its use and can even harm the individuals the intervention was intended to protect.

研究动机与目标

• 解决在选择和应用公平性度量时缺乏道德指导的问题。
• 分析诸如人口均等和机会均等之类的公平性度量是否在特定条件下具有道德正当性。
• 研究后处理算法（尤其是Hardt等人，2016年）的道德影响，这些算法通过群体特定或随机化的决策阈值来优化公平性。
• 挑战‘满足公平性度量即意味着利益与负担的公平分配’这一假设。
• 倡导在评估fair-ml算法时超越其优化目标，综合考虑程序正义与分配正义。

提出的方法

• 作者在Hertweck等人（2021年）的框架基础上进行扩展，整合了预测结果对决策对象的效用及其对利益或负担的道德主张。
• 将该扩展框架应用于评估两个公平性度量——人口均等与机会均等——在涉及贷款审批、招聘和医疗保健的三个典型现实世界案例中的适用性。
• 分析Hardt等人（2016年）的后处理算法，该算法通过按群体调整决策阈值以实现误分类率的均衡。
• 区分两种优化策略：群体特定的确定性阈值与随机化阈值，以平衡群体层面的公平性。
• 评估诸如‘水平下降’、个体待遇中的一致性与比例性违反等道德异议。
• 使用反例说明，即使满足公平性度量，仍可能因非预期副作用而导致不公正结果。

实验结果

研究问题

• RQ1 在何种条件下，使用如人口均等之类的公平性度量才具有道德正当性？
• RQ2 个体效用及对利益或负担的道德主张如何影响公平性度量的道德正当性？
• RQ3 在何种情况下，通过fair-ml算法优化公平性度量，即使度量被满足，仍会导致不公正结果？
• RQ4 在后处理fair-ml算法中使用群体特定或随机化决策阈值具有何种道德影响？
• RQ5 在何种情况下，即使满足形式上的公平性标准，也应完全避免使用fair-ml技术？

主要发现

• 人口均等与机会均等仅在决策对象的预测结果效用及其对利益或负担的道德主张与公平性度量正确对齐时，才具有道德正当性。
• 通过后处理算法（如Hardt等人，2016年）优化公平性度量可能导致‘水平下降’的道德异议，即原本处于更有利地位的群体中的个体可能受到比无干预时更差的对待。
• 使用随机化的群体特定决策阈值可能违反一致性原则，因其可能无视个体特征而随机分配预测结果，从而损害个体层面的公平性。
• 即使公平性度量被满足，结果的分配也可能无法反映利益与负担的公平配置，原因在于对公平性的操作化过于简化。
• 将公平性度量作为优化目标可能引入有害副作用，如预测准确率下降和待遇不一致，从而损害公平感知机器学习的初衷。
• 本研究结论认为，fair-ml中的技术选择并非中立，而是蕴含深刻的道德含义，因此算法设计必须具备透明度并体现程序正义。