[论文解读] Definition drives design: Disability models and mechanisms of bias in AI technologies

Denis Newman-Griffis, Jessica Sage Rauchberg+3 more|arXiv (Cornell University)|Jun 16, 2022

Ethics and Social Impacts of AI被引用 6

一句话总结

本文主张，人工智能设计中对残疾的定义从根本上决定了算法偏见的形成，通过展示医学、社会和功能三种残疾模型如何在数据选择、问题界定和应用使用等方面导致截然不同且往往具有排斥性的设计选择。本文提出了一套批判性框架，倡导参与式、以残障人士为主导的人工智能开发，以提升影响残障人士的AI系统在公平性、透明度和公正性方面的表现。

ABSTRACT

The increasing deployment of artificial intelligence (AI) tools to inform decision making across diverse areas including healthcare, employment, social benefits, and government policy, presents a serious risk for disabled people, who have been shown to face bias in AI implementations. While there has been significant work on analysing and mitigating algorithmic bias, the broader mechanisms of how bias emerges in AI applications are not well understood, hampering efforts to address bias where it begins. In this article, we illustrate how bias in AI-assisted decision making can arise from a range of specific design decisions, each of which may seem self-contained and non-biasing when considered separately. These design decisions include basic problem formulation, the data chosen for analysis, the use the AI technology is put to, and operational design elements in addition to the core algorithmic design. We draw on three historical models of disability common to different decision-making settings to demonstrate how differences in the definition of disability can lead to highly distinct decisions on each of these aspects of design, leading in turn to AI technologies with a variety of biases and downstream effects. We further show that the potential harms arising from inappropriate definitions of disability in fundamental design stages are further amplified by a lack of transparency and disabled participation throughout the AI design process. Our analysis provides a framework for critically examining AI technologies in decision-making contexts and guiding the development of a design praxis for disability-related AI analytics. We put forth this article to provide key questions to facilitate disability-led design and participatory development to produce more fair and equitable AI technologies in disability-related contexts.

研究动机与目标

• 识别不同残疾模型如何影响AI设计决策，并在算法系统中嵌入偏见。
• 分析偏见的残疾定义如何在AI开发生命周期早期出现的机制。
• 强调在透明度和问责制方面，将残障人士排除在AI设计过程之外所导致的后果。
• 开发一套批判性框架，用于评估和改进与残疾相关的决策情境中AI的公平性。
• 推动参与式、以残障人士为主导的设计实践，以确保AI应用中实现公平结果。

提出的方法

• 分析三种主流残疾模型——医学、社会和功能模型——在AI设计维度（如问题构念、数据选择和应用使用）中的表现。
• 绘制每种残疾模型如何导致特定设计决策，从而在AI系统中嵌入特定形式的偏见。
• 考察核心算法之外的操作设计要素，包括部署环境和用户界面，作为偏见的生成场所。
• 运用批判性残疾研究，探究AI设计选择中蕴含的社会政治假设。
• 提出一组关键问题，供开发者和利益相关者使用，以指导包容性、透明且公正的AI开发。
• 强调参与式设计和残障社群的参与是自基础层面减轻偏见的关键。

实验结果

研究问题

• RQ1 在现实应用中，不同的残疾模型（医学、社会、功能）如何影响AI设计决策？
• RQ2 除算法代码外，哪些具体的设计选择会导致针对残障人士的AI系统中偏见的产生？
• RQ3 在AI开发过程中缺乏残障人士参与，以何种方式加剧了系统性不公？
• RQ4 在设计阶段对残疾的定义如何导致AI驱动决策中的长期、下游性伤害？
• RQ5 哪些批判性问题应指导与残疾相关的AI系统中公平且公正的参与式设计？

主要发现

• 在AI设计初期选择的残疾模型，直接决定了哪些人群会被纳入或排除在系统结果之外。
• 数据选择和问题界定等设计决策并非中立，而是反映了关于残疾的潜在假设，从而嵌入偏见。
• 即使算法本身不具歧视性，若基于狭隘或过时的残疾定义，仍可能产生歧视性结果。
• AI开发过程中缺乏透明度和残障人士的参与，会显著加剧有害设计结果的风险。
• 本文识别出一组关键问题，可指导以残疾为导向的参与式AI设计，从而提升公平性和问责制。
• 该框架表明，AI中的偏见并非偶然，而是系统性地根植于早期阶段的概念和定义选择之中。