[论文解读] Keeping Designers in the Loop: Communicating Inherent Algorithmic Trade-offs Across Multiple Objectives

Bowen Yu, Ye Yuan+4 more|arXiv (Cornell University)|Oct 7, 2019

Ethics and Social Impacts of AI参考文献 42被引用 5

一句话总结

本文提出了一种交互式可视化方法，帮助设计师和用户在人工智能预测模型中探索公平性与准确性之间的权衡，特别是在再犯风险评估场景中。通过大规模在线研究和专家访谈进行评估，该方法使用户能够透明地导航算法权衡，从而做出更明智、与价值观一致的模型选择。

ABSTRACT

Artificial intelligence algorithms have been used to enhance a wide variety of products and services, including assisting human decision making in high-stakes contexts. However, these algorithms are complex and have trade-offs, notably between prediction accuracy and fairness to population subgroups. This makes it hard for designers to understand algorithms and design products or services in a way that respects users' goals, values, and needs. We proposed a method to help designers and users explore algorithms, visualize their trade-offs, and select algorithms with trade-offs consistent with their goals and needs. We evaluated our method on the problem of predicting criminal defendants' likelihood to re-offend through (i) a large-scale Amazon Mechanical Turk experiment, and (ii) in-depth interviews with domain experts. Our evaluations show that our method can help designers and users of these systems better understand and navigate algorithmic trade-offs. This paper contributes a new way of providing designers the ability to understand and control the outcomes of algorithmic systems they are creating.

研究动机与目标

• 弥合人工智能系统设计中设计师、用户与算法开发人员之间的沟通鸿沟。
• 帮助设计师和用户理解多目标人工智能算法中固有的权衡，特别是公平性与准确性之间的权衡。
• 提供一种可视化和导航预测模型中权衡的方法，以支持以价值观为导向的算法选择。
• 支持高风险决策场景（如刑事再犯预测）中的决策，其中伦理与性能的权衡至关重要。
• 使非专家设计师能够在不掌握机器学习深层技术知识的情况下，有意义地参与算法权衡的讨论。

提出的方法

• 通过算法调优，在广泛的公平性-准确性权衡范围内生成一系列预测模型。
• 设计交互式可视化界面，使用户能够探索和比较多个目标下的模型性能。
• 使用视觉提示（例如点、滑块和动态更新）说明公平性约束的变化如何影响准确性与子群体差异。
• 在刑事再犯预测的案例研究背景下实现该界面，使用真实世界的数据集和模型族。
• 通过大规模的亚马逊Mechanical Turk实验评估用户对模型的理解程度和模型选择行为。
• 通过深度访谈领域专家，评估该工具在真实世界设计和决策场景中的实用性。

实验结果

研究问题

• RQ1 设计师和用户如何有效探索并理解人工智能预测模型中公平性与准确性之间的权衡？
• RQ2 交互式可视化在多大程度上提升了用户选择与其价值观和目标一致的模型的能力？
• RQ3 不同专业水平的用户（新手与专家）如何在可视化界面中导航和解读算法权衡？
• RQ4 权衡的透明度在多大程度上影响了用户对算法推荐的信任？
• RQ5 哪些设计模式有助于在公平性与准确性偏好各异的利益相关者之间达成协商与共识？

主要发现

• 交互式可视化界面使新手用户和领域专家能够有效探索并理解再犯预测模型中复杂的公平性-准确性权衡。
• 当权衡关系以可视化方式明确呈现时，用户在选择与个人价值观和优先事项一致的模型方面表现出更强的能力。
• 权衡的透明度促进了更明智的决策，当用户能够看到不同配置的后果时，他们对自己的选择表现出更高的信心。
• 用户报告称，视觉反馈（如动态点显示子群体差异）对于感知公平性约束变化如何影响模型性能至关重要。
• 该方法揭示了公平性-准确性权衡的异质性偏好，凸显了在多利益相关者设计过程中需要协商机制。
• 权衡的透明度对信任具有双重影响：当用户理解系统时，信任度上升；但当权衡与个人价值观冲突时，也会引发怀疑。