[論文レビュー] Definition drives design: Disability models and mechanisms of bias in AI technologies

Denis Newman-Griffis, Jessica Sage Rauchberg+3 more|arXiv (Cornell University)|Jun 16, 2022

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

本論文は、AI設計における障害の定義が根本的にアルゴリズム的バイアスを形作ることを主張し、医学的、社会的、機能的モデルといった異なる障害モデルが、データ選択、問題設定、アプリケーション利用の各段階で、しばしば排除的となる設計意思決定をもたらすことを示している。本論文は、障害者をリードする参加型のAI開発を促進し、障害者に影響を及ぼすAIシステムにおける公平性、透明性、正義を高めるための批判的フレームワークを提唱する。

ABSTRACT

The increasing deployment of artificial intelligence (AI) tools to inform decision making across diverse areas including healthcare, employment, social benefits, and government policy, presents a serious risk for disabled people, who have been shown to face bias in AI implementations. While there has been significant work on analysing and mitigating algorithmic bias, the broader mechanisms of how bias emerges in AI applications are not well understood, hampering efforts to address bias where it begins. In this article, we illustrate how bias in AI-assisted decision making can arise from a range of specific design decisions, each of which may seem self-contained and non-biasing when considered separately. These design decisions include basic problem formulation, the data chosen for analysis, the use the AI technology is put to, and operational design elements in addition to the core algorithmic design. We draw on three historical models of disability common to different decision-making settings to demonstrate how differences in the definition of disability can lead to highly distinct decisions on each of these aspects of design, leading in turn to AI technologies with a variety of biases and downstream effects. We further show that the potential harms arising from inappropriate definitions of disability in fundamental design stages are further amplified by a lack of transparency and disabled participation throughout the AI design process. Our analysis provides a framework for critically examining AI technologies in decision-making contexts and guiding the development of a design praxis for disability-related AI analytics. We put forth this article to provide key questions to facilitate disability-led design and participatory development to produce more fair and equitable AI technologies in disability-related contexts.

研究の動機と目的

• 異なる障害モデルがAI設計意思決定にどのように影響を与え、アルゴリズム的システムにバイアスを埋め込むかを特定すること。
• AI開発プロセスの初期段階で、偏った障害の定義がどのようにして生じるかのメカニズムを分析すること。
• 障害者がAI設計プロセスから除外されることの結果、特に透明性と責任の観点からどのような影響が生じるかを浮き彫りにすること。
• 障害関連意思決定の文脈におけるAIの公平性を評価・改善するための批判的フレームワークを開発すること。
• 公平で平等なAIアプリケーションを実現するため、参加型で障害者主導の設計実践を促進すること。

提案手法

• 問題設定、データ選択、アプリケーション利用などのAI設計次元において、主な3つの障害モデル（医学的、社会的、機能的）を分析する。
• 各障害モデルがAIシステムに特定のバイアス形態を埋め込むことにつながる異なる設計意思決定をマッピングする。
• コアアルゴリズムを超えた運用設計要因、例えば展開環境やユーザーインターフェースを、バイアスの発生源として分析する。
• 批判的障害研究を用いて、AI設計意思決定に埋め込まれた社会的・政治的仮定を検証する。
• 包括的で透明性があり、公平性を確保するAI開発をガイドするための重要な質問のセットを提唱する。
• 参加型設計と障害者コミュニティの関与が、根本的レベルでのバイアス低減に不可欠であることを強調する。

実験結果

リサーチクエスチョン

• RQ1 異なる障害モデル（医学的、社会的、機能的）は、実世界の応用においてAI設計意思決定にどのように影響を与えるか？
• RQ2 アルゴリズムのコードを超えた、具体的な設計選択（例：データ選択、問題設定）は、障害者向けAIシステムにおけるバイアスの発生にどのように寄与するか？
• RQ3 AI開発プロセスから障害者が欠落している場合、どのような形でシステム的不平等が拡大するか？
• RQ4 設計段階での障害の定義が、AI駆動意思決定における長期的・下流的被害をどのように引き起こすか？
• RQ5 障害関連文脈における公平で平等なAIシステムの参加型設計をガイドするには、どのような批判的質問が必要か？

主な発見

• AI設計の初期段階での障害モデルの選択が、システムの成果にどの集団が含まれるか、含まれないかを直接決定する。
• データ選択や問題設定といった設計意思決定は中立的ではなく、バイアスを埋め込む背後にある障害に関する仮定を反映している。
• 偏ったまたは古くなった障害の定義に基づくと、差別の的でないアルゴリズムですら、差別的結果を生み出すことがある。
• AI開発プロセスにおける透明性の欠如と障害者の参加の不在は、有害な設計結果のリスクを顕著に高める。
• 本論文は、障害者に配慮した参加型AI設計を促進するための重要な質問のセットを同定した。
• フレームワークは、AIにおけるバイアスが偶然ではなく、初期段階の概念的・定義的選択に系統的に根ざしていることを示している。