[论文解读] Factors Influencing Perceived Fairness in Algorithmic Decision-Making: Algorithm Outcomes, Development Procedures, and Individual Differences

Ruotong Wang, F. Maxwell Harper+1 more|arXiv (Cornell University)|Jan 27, 2020

Ethics and Social Impacts of AI参考文献 68被引用 30

一句话总结

本CHI 2020研究通过随机在线MTurk实验表明，个体有利结果和组内无偏处理会提高对感知公平性的认知，并且结果效应通常超过偏见效应，教育与开发程序会调节这些感知。

ABSTRACT

Algorithmic decision-making systems are increasingly used throughout the public and private sectors to make important decisions or assist humans in making these decisions with real social consequences. While there has been substantial research in recent years to build fair decision-making algorithms, there has been less research seeking to understand the factors that affect people's perceptions of fairness in these systems, which we argue is also important for their broader acceptance. In this research, we conduct an online experiment to better understand perceptions of fairness, focusing on three sets of factors: algorithm outcomes, algorithm development and deployment procedures, and individual differences. We find that people rate the algorithm as more fair when the algorithm predicts in their favor, even surpassing the negative effects of describing algorithms that are very biased against particular demographic groups. We find that this effect is moderated by several variables, including participants' education level, gender, and several aspects of the development procedure. Our findings suggest that systems that evaluate algorithmic fairness through users' feedback must consider the possibility of outcome favorability bias.

研究动机与目标

• 了解个体有利结果如何影响对算法决策的感知公平性。
• 评估基于群体的无偏与有偏结果对感知公平性的影响。
• 考察开发程序（透明度和人工参与）对感知公平性的影响。
• 研究个体差异（教育、计算机素养、人口统计）如何调节公平感知。

提出的方法

• 在MTurk上进行随机在线实验（排除后样本量约为N）。
• 操控六个因素：（有利/不利结果）、（有偏/无偏的群体处理）、透明度水平、开发/设计团队、模型类型（ML vs 规则）、决策类型（仅算法 vs 混合）。
• 向参与者呈现一个MTurk Master资格算法及结果（通过/未通过）之描述，同时改变结果与程序细节。
• 使用六个7点量表的感知公平性量表来测量（Cronbach’s alpha = 0.91）。
• 使用线性回归模型分析将感知公平性预测为结果、程序与个体差异的函数（控制：自我期望）。

实验结果

研究问题

• RQ1 有利的个体结果与无偏的群体处理如何影响对算法公平性的感知？
• RQ2 开发程序（透明性与人工参与）对公平感知的影响是什么？
• RQ3 个体差异（教育、计算机素养、人口统计）是否会调节感知公平性？
• RQ4 结果有利性对公平判断的影响是否大于无偏处理的影响？
• RQ5 教育水平和程序透明度如何与公平感知交互作用？

主要发现

• 对个体有利的感知公平性会随着个人结果的有利以及跨群体的无偏处理而上升。
• 个体有利结果对公平性的影响大于无偏群体处理的影响。
• 更高的教育水平会削弱有利结果带来的公平性提升，并放大对带偏群体处理的敏感度。
• 描述开发过程时若涉及外包或更高透明度，可能放大群体偏见对感知公平性的负面影响。
• 在开发过程中更多的人类参与通常会提高感知公平性，支持“人在环中”的观点。
• 总体而言，结果有利性可能超越统计公平标志而偏向性地影响公平判断，存在结果有利性偏差。