[论文解读] Conceptualising Contestability: Perspectives on Contesting Algorithmic Decisions

Henrietta Lyons, Eduardo Velloso+1 more|arXiv (Cornell University)|Feb 23, 2021

Ethics and Social Impacts of AI参考文献 118被引用 73

一句话总结

本文研究了在澳大利亚人工智能伦理框架（首个将可争议性确立为核心原则的框架）背景下，不同利益相关方如何概念化可争议性——即挑战算法决策的能力。通过对65份提交意见的题项分析，研究发现各方普遍认同可争议性必须保护个人权益，并反映人类决策争议过程的特征，同时揭示了在人工智能系统中实现公平、可及且可解释的争议机制所面临的关键设计与政策挑战。

ABSTRACT

As the use of algorithmic systems in high-stakes decision-making increases, the ability to contest algorithmic decisions is being recognised as an important safeguard for individuals. Yet, there is little guidance on what `contestability'--the ability to contest decisions--in relation to algorithmic decision-making requires. Recent research presents different conceptualisations of contestability in algorithmic decision-making. We contribute to this growing body of work by describing and analysing the perspectives of people and organisations who made submissions in response to Australia's proposed `AI Ethics Framework', the first framework of its kind to include `contestability' as a core ethical principle. Our findings reveal that while the nature of contestability is disputed, it is seen as a way to protect individuals, and it resembles contestability in relation to human decision-making. We reflect on and discuss the implications of these findings.

研究动机与目标

• 本研究旨在解决算法决策中‘可争议性’含义缺乏明确指导的问题。
• 研究探讨了政府、产业界、学术界及民间社会等多元利益相关方如何在澳大利亚人工智能伦理框架背景下概念化可争议性。
• 本研究旨在梳理人工智能系统中争议问题的理论辩论与实际挑战。
• 研究旨在为算法决策的公平、可及且透明的争议流程设计提供依据。
• 本研究旨在通过识别可争议性的核心原则与设计考量，推动伦理人工智能的发展。

提出的方法

• 本研究分析了澳大利亚人工智能伦理框架咨询过程中收到的65份提交意见。
• 通过题项分析，识别出关于可争议性的重复观点、概念化方式及设计需求。
• 分析聚焦于受访者如何界定可争议性、其与公平性和透明度的关系，以及其实际操作化方式。
• 研究人员考察了可解释性在支持争议中的作用，特别是通过以人为本的解释方式。
• 他们评估了如何基于人机交互（HCI）与政策设计的洞见，设计出可及且有效的争议流程。
• 研究结果被用于反思可争议性作为人工智能系统中保障机制的可行性与影响。

实验结果

研究问题

• RQ1 在算法决策背景下，不同利益相关方如何概念化可争议性？
• RQ2 在人工智能系统中实施争议流程的关键设计与政策考量是什么？
• RQ3 算法决策中的可争议性与人类决策中的可争议性有何异同？
• RQ4 可解释性在促进或限制争议基础方面发挥何种作用？
• RQ5 哪些系统性挑战阻碍个人有效争议算法决策？

主要发现

• 各方普遍认同，可争议性对于保护个人免受不公平或有害算法决策至关重要。
• 受访者一致认为，算法决策中的可争议性应类比于人类决策中的可争议性，强调程序公平性的一致性。
• 提交意见强调，争议流程必须具备可及性、透明性，并应吸纳受影响个体的参与。
• 识别出的主要挑战是算法系统的不透明性，这阻碍了用户理解或挑战决策的能力。
• 迫切需要以人为本的解释，其内容应超越技术性或反事实性解释，以支持有意义的争议。
• 本研究指出，当前可解释人工智能（XAI）的输出可能不足以支持法律或正式争议，提示亟需更强大、更具情境感知的解释框架。