[논문 리뷰] The Participatory Turn in AI Design: Theoretical Foundations and the Current State of Practice

Fernando Delgado, Stephen J.H. Yang외 2명|arXiv (Cornell University)|2023. 10. 02.

Ethics and Social Impacts of AI인용 수 10

한 줄 요약

본 논문은 participatory AI를 평가하기 위한 프레임워크를 구축하고, 현재 실천이 largely consultative임을 보여주며 이해관계자들이 종종 core design decisions가 아닌 UI에 대한 입력에 제한되는 경향을 보이고, 권한 부여와 실용적 제약 사이의 긴장을 강조한다.

ABSTRACT

Despite the growing consensus that stakeholders affected by AI systems should participate in their design, enormous variation and implicit disagreements exist among current approaches. For researchers and practitioners who are interested in taking a participatory approach to AI design and development, it remains challenging to assess the extent to which any participatory approach grants substantive agency to stakeholders. This article thus aims to ground what we dub the "participatory turn" in AI design by synthesizing existing theoretical literature on participation and through empirical investigation and critique of its current practices. Specifically, we derive a conceptual framework through synthesis of literature across technology design, political theory, and the social sciences that researchers and practitioners can leverage to evaluate approaches to participation in AI design. Additionally, we articulate empirical findings concerning the current state of participatory practice in AI design based on an analysis of recently published research and semi-structured interviews with 12 AI researchers and practitioners. We use these empirical findings to understand the current state of participatory practice and subsequently provide guidance to better align participatory goals and methods in a way that accounts for practical constraints.

연구 동기 및 목표

• 기술 디자인, 정치 이론, 사회과학 전반의 참여 이론을 합성하여 participatory AI를 위한 평가 프레임워크를 만든다.
• 참여 방법을 활용하는 것으로 주장하는 80편의 논문 코퍼스를 분석하고 연구자/실무자 12명을 인터뷰하여 경험을 맥락화한다.
• 참여 AI 실천에서 동기, 도전, 긴장을 식별한다.
• AI 디자인에서 참여 목표와 방법의 정렬을 개선할 실증적 기회를 제공한다.

제안 방법

• 참여의 아홉 가지 전통에 걸친 문헌을 합성하여 Parameters of Participation 프레임워크를 도출한다.
• 프레임워크의 차원 및 참여 양식에 따라 참여 방법을 주장하는 80건의 AI 연구를 코딩한다.
• 코퍼스 논문 저자 12명을 대상으로 반구조화 인터뷰를 수행하여 동기, 도전, 포부를 삼각측량한다.
• 현재 실천에 대한 발견을 도출하기 위해 친화 다이어그램 및 주제 분석을 사용한다.

Figure 1. Parameters of Participation : a framework derived from a synthesis of prior literature on stakeholder participation

실험 결과

연구 질문

• RQ1 AI 설계에서 참여가 어떻게 실행되는지 평가하고 이해관계자에게 실제로 어떤 주체성을 부여하는지 신뢰할 수 있는 개념적 프레임워크는 무엇인가?
• RQ2 현재의 참여적 AI 실천은 이해관계자에게 권한을 부여하는가 아니면 자문 필요를 충족시키는가?
• RQ3 참여 AI 구현을 형성하는 주요 긴장과 제약은 무엇이며, 실천은 어떻게 개선될 수 있는가?
• RQ4 AI 설계에서 참여 목표와 방법을 더 잘 정렬하기 위한 실증적 기회는 무엇인가?

주요 결과

• 대부분의 참여형 AI 프로젝트(80/80)의 목표는 사용자 경험을 개선하는 것이며, 52/80은 이해관계자의 선호도와 가치에 대한 일치를 모색한다.
• 일부 비중(8/80, 10%)은 이해관계자를 시스템의 범위와 목적 구성에 참여시키는 경우가 있다.
• 참여는 주로 자문적이며 UI 중심의 관여가 핵심 모델 설계 참여보다 더 많이 작용한다.
• 직접 참여가 제한될 때 이해관계자 입력을 대리(인간 또는 알고리즘)로 표현하는 방법에 의존한다.
• 권한 부여 욕구와 리소스, 일정 등의 실용적 제약 사이에서 긴장이 발생한다.
• 연구는 이해관계자 참여를 향상시켜 AI 설계에서의 참여 맥락을 재구성하는 경로를 식별한다.

Figure 2. Participatory AI Projects Mapped to Conceptual Framework