[论文解读] How Do Fairness Definitions Fare? Examining Public Attitudes Towards Algorithmic Definitions of Fairness

Nripsuta Ani Saxena, Karen Huang+4 more|arXiv (Cornell University)|Nov 8, 2018

Ethics and Social Impacts of AI参考文献 23被引用 49

一句话总结

本论文在贷款决策中研究普通人对三种算法公平定义的感知，使用两项在线实验观察在加入种族信息时感知如何变化，在校准公平上通常更受偏好，并支持平权行动。

ABSTRACT

What is the best way to define algorithmic fairness? While many definitions of fairness have been proposed in the computer science literature, there is no clear agreement over a particular definition. In this work, we investigate ordinary people's perceptions of three of these fairness definitions. Across two online experiments, we test which definitions people perceive to be the fairest in the context of loan decisions, and whether fairness perceptions change with the addition of sensitive information (i.e., race of the loan applicants). Overall, one definition (calibrated fairness) tends to be more preferred than the others, and the results also provide support for the principle of affirmative action.

研究动机与目标

• 了解在放贷情境中，哪些 CS 公平定义与普通大众的感知一致。
• 评估加入敏感属性（如种族）如何影响公平判断。
• 比较公众对不同公平定义的支持程度。
• 探讨在实际决策系统中部署公平概念的含义。

提出的方法

• 进行两项在线实验，向参与者呈现实例的贷款决策场景。
• 在每个场景中操作应用的公平定义。
• 变化是否包含敏感信息（申请者的种族）以测试其对公平判断的影响。
• 测量对公平性的感知以及对不同定义的偏好。
• 分析在暴露种族信息及其他因素时回答是否存在差异。

实验结果

研究问题

• RQ1 在贷款决策环境中，哪些算法公平定义被普通人视为最公平？
• RQ2 是否包含敏感信息（种族）会影响对不同定义的公平判断？
• RQ3 在有无种族信息的情况下，参与者在校准公平、统计平等及其他定义之间的偏好是否不同？
• RQ4 在公众认知中，是否有支持平权行动作为公平方法的证据？

主要发现

• 校准公平往往比所考察的其他定义更受偏好。
• 公众态度显示在所研究的情境中支持平权行动原则。
• 加入敏感信息（种族）会影响公平判断，影响对不同定义的偏好。
• 结果揭示在放贷情景中哪些公平概念与普通大众的直觉相符。