[论文解读] A Study on Fairness and Trust Perceptions in Automated Decision Making

Jakob Schoeffer, Yvette Machowski+1 more|arXiv (Cornell University)|Mar 8, 2021

Ethics and Social Impacts of AI参考文献 18被引用 15

一句话总结

本研究探讨了不同类型的解释——特别是特征重要性解释与反事实解释——如何影响用户对自动化贷款决策中公平性与可信度的感知。初步研究结果表明，更丰富的解释显著提升了用户对公平性和可信度的感知，尤其在人工智能素养较高的用户中更为明显，表明算法决策中的透明度可增强用户的接受度与伦理认知。

ABSTRACT

Automated decision systems are increasingly used for consequential decision making -- for a variety of reasons. These systems often rely on sophisticated yet opaque models, which do not (or hardly) allow for understanding how or why a given decision was arrived at. This is not only problematic from a legal perspective, but non-transparent systems are also prone to yield undesirable (e.g., unfair) outcomes because their sanity is difficult to assess and calibrate in the first place. In this work, we conduct a study to evaluate different attempts of explaining such systems with respect to their effect on people's perceptions of fairness and trustworthiness towards the underlying mechanisms. A pilot study revealed surprising qualitative insights as well as preliminary significant effects, which will have to be verified, extended and thoroughly discussed in the larger main study.

研究动机与目标

• 了解自动化决策系统中不同层次的解释如何影响用户对公平性与可信度的感知。
• 考察个体背景（尤其是人工智能素养与经验）在塑造对自动化系统感知中的作用。
• 比较人类与自动化决策者在感知公平性与可信度方面的差异，特别是在提供解释的情况下。
• 评估不同解释风格（特征重要性、反事实）在提升用户理解与信任方面的有效性。
• 为高风险领域（如贷款）中更透明且伦理上可接受的自动化决策系统设计提供依据。

提出的方法

• 开展一项在线初步研究，参与者被暴露于不同解释条件：仅特征重要性、仅反事实解释，以及结合解释格式。
• 采用受控实验设计，参与者评估具有不同透明度水平的自动化贷款决策。
• 使用经验证的多项目量表测量感知：可理解性、程序公平性、信息公平性与可信度。
• 收集人口统计与背景数据，包括人工智能素养与经验，以分析其对感知的调节作用。
• 使用开放式问题收集用户对自动化决策及特定特征（如性别、教育程度、房产区域）态度的定性见解。
• 分析各条件下各项构念在5点量表上的定量得分，以评估解释类型的影响。

实验结果

研究问题

• RQ1 不同解释格式（特征重要性、反事实、或结合）如何影响用户对自动化贷款决策中公平性与可信度的感知？
• RQ2 用户的AI素养与先前经验在多大程度上调节其对自动化决策系统公平性与可信度的感知？
• RQ3 用户如何感知自动化贷款决策中特定决策特征（如性别、教育程度、房产区域）的公平性？
• RQ4 与仅提供特征重要性相比，反事实解释的存在是否能提升用户的理解与信任？
• RQ5 在提供解释的情况下，用户对自动化决策的感知与对人类决策者的感知相比如何？

主要发现

• 结合解释条件（特征重要性 + 反事实）在所有构念中均获得最高平均分：可理解性为4.12，程序公平性为3.91，信息公平性为3.92，可信度为3.83。
• 人工智能素养较高的参与者对公平性与可信度的感知显著更积极，尤其是在面对复杂解释格式时。
• 多数参与者认为自动化系统比人类决策者更少偏见，指出客观性与基于规则的一致性是其主要优势。
• 许多参与者拒绝将性别作为决策因素，认为其在伦理上错误甚至接近违法，教育程度与房产区域也常被视为不适当。
• 当反事实解释反映现实且可操作的改变（如改善信用记录或调整贷款条款）时，用户认为其更具可信度与帮助性。
• 尽管对自动化系统缺乏同理心存在某些疑虑，但许多参与者承认，消除个人偏见可带来更公平的结果。