[논문 리뷰] Definition drives design: Disability models and mechanisms of bias in AI technologies

Denis Newman-Griffis, Jessica Sage Rauchberg외 3명|arXiv (Cornell University)|2022. 06. 16.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 논문은 인공지능 설계에서 장애의 정의가 알고리즘 편향을 근본적으로 형성하며, 의료, 사회적, 기능적 장애 모델이 데이터 선택, 문제 정의, 응용 사용 등 다양한 설계 차원에서 서로 다른, 종종 배제적인 설계 선택으로 이어진다는 점을 주장한다. 이는 장애인 중심의 참가형 AI 개발을 위한 비판적 프레임워크를 제안하여, 장애인이 영향을 받는 AI 시스템에서 공정성, 투명성, 형평성을 향상시킨다.

ABSTRACT

The increasing deployment of artificial intelligence (AI) tools to inform decision making across diverse areas including healthcare, employment, social benefits, and government policy, presents a serious risk for disabled people, who have been shown to face bias in AI implementations. While there has been significant work on analysing and mitigating algorithmic bias, the broader mechanisms of how bias emerges in AI applications are not well understood, hampering efforts to address bias where it begins. In this article, we illustrate how bias in AI-assisted decision making can arise from a range of specific design decisions, each of which may seem self-contained and non-biasing when considered separately. These design decisions include basic problem formulation, the data chosen for analysis, the use the AI technology is put to, and operational design elements in addition to the core algorithmic design. We draw on three historical models of disability common to different decision-making settings to demonstrate how differences in the definition of disability can lead to highly distinct decisions on each of these aspects of design, leading in turn to AI technologies with a variety of biases and downstream effects. We further show that the potential harms arising from inappropriate definitions of disability in fundamental design stages are further amplified by a lack of transparency and disabled participation throughout the AI design process. Our analysis provides a framework for critically examining AI technologies in decision-making contexts and guiding the development of a design praxis for disability-related AI analytics. We put forth this article to provide key questions to facilitate disability-led design and participatory development to produce more fair and equitable AI technologies in disability-related contexts.

연구 동기 및 목표

• 다양한 장애 모델이 AI 설계 결정에 어떻게 영향을 주고 알고리즘 시스템에 편향을 심어넣는지 규명하는 것.
• AI 개발 라이프사이클 초반 단계에서 편향된 장애 정의가 어떻게 발생하는지 메커니즘을 분석하는 것.
• 특히 투명성과 책임성 측면에서 장애인이 AI 설계 과정에서 배제될 경우 초래되는 결과를 부각하는 것.
• 장애 관련 의사결정 맥락에서 AI 공정성을 평가하고 향상시키기 위한 비판적 프레임워크를 개발하는 것.
• 공정한 결과를 도출하기 위해 참가형, 장애인 중심의 설계 관행을 촉진하는 것.

제안 방법

• 문제 정의, 데이터 선택, 응용 사용 등의 AI 설계 차원에서 주로 사용되는 의료, 사회적, 기능적 장애 모델 세 가지를 분석한다.
• 각 장애 모델이 AI 시스템에 특정 형태의 편향을 심어넣는 데 어떻게 이어지는지 설계 결정의 차이를 매핑한다.
• 핵심 알고리즘을 초월해 배포 환경과 사용자 인터페이스 등 운영 설계 요소를 편향의 근원으로 간주한다.
• 비판적 장애 연구를 활용해 AI 설계 선택에 내재된 사회정치적 가정을 분석한다.
• 포괄적이고 투명하며 공정한 AI 개발을 이끄는 데 도움이 되는 핵심 질문 세트를 제안한다.
• 기초 단계에서 편향을 완화하기 위해 참가형 설계와 장애인 공동체의 참여가 필수적임을 강조한다.

실험 결과

연구 질문

• RQ1 의료, 사회적, 기능적 장애 모델이 실제 응용에서 AI 설계 결정에 어떻게 영향을 미치는가?
• RQ2 알고리즘 코드 외의 특정 설계 선택은 장애인이 포함된 AI 시스템에서 편향이 발생하는 데 어떻게 기여하는가?
• RQ3 AI 개발 과정에서 장애인의 부재가 체계적 형평성 결여를 어떻게 악화시키는가?
• RQ4 설계 단계에서의 장애 정의가 AI 기반 의사결정에서 장기적인 후속 피해를 초래하는 방식은 무엇인가?
• RQ5 장애 관련 맥락에서 공정하고 형평성 있는 AI 시스템을 참가형으로 설계하기 위해 어떤 비판적 질문들이 필요한가?

주요 결과

• AI 설계 초기 단계에서 선택된 장애 모델이 시스템 결과에서 어떤 집단이 포함되거나 배제되는지를 직접 결정한다.
• 데이터 선택 및 문제 정의와 같은 설계 결정은 중립적이지 않으며, 장애에 대한 기초적인 가정을 반영하여 편향을 내재한다.
• 편향되지 않은 알고리즘이나 장애 정의가 좁거나 오래된 정의를 바탕으로 하면, 여전히 차별적인 결과를 낳을 수 있다.
• AI 개발 과정에서의 투명성 부족과 장애인의 참여 부재는 해로운 설계 결과의 위험을 크게 증가시킨다.
• 논문은 공정성과 책임성을 향상시키기 위해 장애인 중심의 참가형 AI 설계를 이끄는 데 도움이 되는 핵심 질문 세트를 규명한다.
• 이 프레임워크는 AI의 편향이 우연이 아니라 초기 개념적·정의적 선택에 체계적으로 뿌리를 두고 있음을 입증한다.