[论文解读] Does mitigating ML's disparate impact require disparate treatment?

Zachary C. Lipton, Alexandra Chouldechova+1 more|arXiv (Cornell University)|Nov 19, 2017

Ethics and Social Impacts of AI被引用 7

一句话总结

本文主张，差异性学习过程（DLPs）——即在训练中使用受保护特征但在推理中隐藏这些特征的算法——在功能上可复制差异性对待，例如平权行动，甚至可能在敏感属性仅部分编码于特征时引发类内歧视。作者得出结论，此类方法应受到与显性差异性对待相同的法律与伦理审查。

ABSTRACT

Following related work in law and policy, two notions of prejudice have come to shape the study of fairness in algorithmic decision-making. Algorithms exhibit disparate treatment if they formally treat people differently according to a protected characteristic, like race, or if they intentionally discriminate (even if via proxy variables). Algorithms exhibit disparate impact if they affect subgroups differently. Disparate impact can arise unintentionally and absent disparate treatment. The natural way to reduce disparate impact would be to apply disparate treatment in favor of the disadvantaged group, i.e. to apply affirmative action. However, owing to the practice's contested legal status, several papers have proposed trying to eliminate both forms of unfairness simultaneously, introducing a family of algorithms that we denote disparate learning processes (DLPs). These processes incorporate the protected characteristic as an input to the learning algorithm (e.g.~via a regularizer) but produce a model that cannot directly access the protected characteristic as an input. In this paper, we make the following arguments: (i) DLPs can be functionally equivalent to disparate treatment, and thus should carry the same legal status; (ii) when the protected characteristic is redundantly encoded in the nonsensitive features, DLPs can exactly apply any disparate treatment protocol; (iii) when the characteristic is only partially encoded, DLPs may induce within-class discrimination. Finally, we argue the normative point that rather than masking efforts towards proportional representation, it is preferable to undertake them transparently.

研究动机与目标

• 检验差异性学习过程（DLPs）是否能在训练中使用受保护特征但在推理中隐藏这些特征的情况下，功能上复制差异性对待。
• 探究当受保护属性在推理阶段不可直接访问时，DLPs 在何种条件下可精确实现任何形式的差异性对待。
• 分析当受保护特征仅部分编码于非敏感特征时，DLPs 可能引发的类内歧视风险。
• 从规范性角度主张，应优先采用透明、有意的配额代表措施，而非通过算法伪装的代理手段。

提出的方法

• 将 DLPs 形式化为在训练过程中通过正则化或其他约束引入受保护特征的机器学习模型。
• 在非敏感特征中受保护特征存在冗余编码的条件下，分析 DLPs 与显性差异性对待的功能等价性。
• 建模受保护特征仅部分编码于输入特征的情境，以评估类内非预期不平等的出现。
• 通过理论分析表明，当存在冗余时，DLPs 可精确模拟任何预设的差异性对待协议。
• 应用法律与政策框架中关于偏见与公平的概念，评估 DLPs 的规范性影响。

实验结果

研究问题

• RQ1 当受保护特征在推理阶段未被直接使用时，DLPs 是否仍能功能上复制差异性对待？
• RQ2 在何种条件下，DLPs 可精确实现任何形式的平权行动或差异性对待？
• RQ3 当受保护特征仅部分编码于非敏感特征时，类内歧视的风险是什么？
• RQ4 DLPs 的法律与伦理地位与显性差异性对待相比如何？
• RQ5 是否应优先通过透明方式实施公平干预，而非通过算法伪装实现？

主要发现

• 当受保护特征在非敏感特征中存在冗余编码时，DLPs 在功能上可等同于差异性对待。
• 当受保护属性存在冗余编码时，DLPs 可精确复制任何形式的差异性对待协议。
• 当受保护特征仅部分编码时，即使未直接访问敏感属性，DLPs 也可能引发类内歧视。
• 使用 DLPs 并未消除法律与伦理审查的必要性，因为其可产生与显性差异性对待无法区分的结果。
• 规范性结论是：应以透明方式推进配额代表，而非通过算法设计隐藏实现。