[논문 리뷰] AHA!: Facilitating AI Impact Assessment by Generating Examples of Harms

Zana Buçinca, Chau Pham외 4명|arXiv (Cornell University)|2023. 06. 05.

Ethics and Social Impacts of AI인용 수 9

한 줄 요약

AHA!는 AI 배치에서 발생할 수 있는 잠재적 피해를 표면화하는 생성적 프레임워크로, 윤리적 매트릭스를 비네트로 채운 다음 크라우드소싱과 LLM으로 이를 보완하고, 시나리오 전반의 피해를 분석합니다.

ABSTRACT

While demands for change and accountability for harmful AI consequences mount, foreseeing the downstream effects of deploying AI systems remains a challenging task. We developed AHA! (Anticipating Harms of AI), a generative framework to assist AI practitioners and decision-makers in anticipating potential harms and unintended consequences of AI systems prior to development or deployment. Given an AI deployment scenario, AHA! generates descriptions of possible harms for different stakeholders. To do so, AHA! systematically considers the interplay between common problematic AI behaviors as well as their potential impacts on different stakeholders, and narrates these conditions through vignettes. These vignettes are then filled in with descriptions of possible harms by prompting crowd workers and large language models. By examining 4113 harms surfaced by AHA! for five different AI deployment scenarios, we found that AHA! generates meaningful examples of harms, with different problematic AI behaviors resulting in different types of harms. Prompting both crowds and a large language model with the vignettes resulted in more diverse examples of harms than those generated by either the crowd or the model alone. To gauge AHA!'s potential practical utility, we also conducted semi-structured interviews with responsible AI professionals (N=9). Participants found AHA!'s systematic approach to surfacing harms important for ethical reflection and discovered meaningful stakeholders and harms they believed they would not have thought of otherwise. Participants, however, differed in their opinions about whether AHA! should be used upfront or as a secondary-check and noted that AHA! may shift harm anticipation from an ideation problem to a potentially demanding review problem. Drawing on our results, we discuss design implications of building tools to help practitioners envision possible harms.

연구 동기 및 목표

• 다양한 이해관계자에 걸쳐 AI 시스템으로 인한 다운스트림 피해를 선제적으로 예측하고 이를 가능하게 하도록 동기를 부여합니다.
• 피해 탐색을 위한 윤리적 매트릭스와 맥락이 풍부한 비네트를 생성하기 위한 반자동화된 프로세스를 개발합니다.
• 여러 배치 시나리오에 걸쳐 크라우드소싱과 대형 언어 모델로부터의 피해 표면을 실증적으로 평가합니다.
• 다양한 피해 생성을 위한 크라우드소싱과 LLM의 결합이 가져오는 가치를 평가합니다.
• 책임 있는 AI 워크플로우를 위한 AHA!의 유용성과 한계에 대한 실무자의 피드백을 수집합니다.

제안 방법

• 대형 언어 모델을 사용하여 배치 시나리오에 대한 이해관계자 집단을 자동으로 생성합니다.
• 행은 이해관계자, 열은 AI 행동(시나리오당 16개)인 윤리적 매트릭스를 채웁니다.
• 맥락 속에서 AI 행동에 대한 이해관계자 경험을 설명하는 비네트 셀을 생성합니다.
• 크라우드소싱과 대형 언어 모델(GPT-3)을 사용하여 피해 묘사로 비네트를 완성합니다.
• 피해를 8개 범주 분류 체계로 코딩하고 클러스터링합니다(예: 할당적, 표현적, 권리/주체성 등).
• 카이제곱 검정과 정성적 코딩을 사용하여 시나리오 및 행동 차원의 피해 분포를 분석합니다.

실험 결과

연구 질문

• RQ1 AHA!가 각 배치 시나리오에 관련된 의미 있는 피해를 표면화합니까?
• RQ2 AI 행동의 다양한 차원(예: 오탐과 미탐)이 표면화되는 피해 유형에 어떤 영향을 줍니까?
• RQ3 피해 생성을 위한 크라우드소싱과 LLM의 비교 기여도는 무엇이며, 이들의 조합이 더 우수합니까?
• RQ4 실무자들이 AHA!를 사전 사용 대 사후 점검으로 사용하는 것에 대한 견해는 무엇이며, 어떤 설계 시사점이 제기됩니까?
• RQ5 피해가 유사한 배치 도메인(예: 채용 vs 대출) 간에 비슷하고, 서로 다른 도메인 간에는 더 다릅니까?

주요 결과

• AHA!는 크라우드소싱과 GPT-3 생성 중 7%에서 의미 있는 피해를 표면화하고, 비의미적인 부분 중 63.2%는 비상식적입니다.
• 피해 범주 분포는 배치 시나리오 간에 유의하게 다릅니다(카이제곱, p < .0001).
• 오탐 vs 미탐은 서로 다른 피해 유형을 주도합니다; 예를 들어 FP는 일부 시나리오에서 더 많은 할당적 피해를 유발하고, FN은 더 많은 표현적 피해를 유발합니다.
• 크라우드와 GPT-3은 비교 가능한 수의 피해를 생성하지만 피해 유형은 다릅니다; 두 소스의 조합은 어느 하나의 소스보다 더 다양한 피해를 만들어냅니다.
• 실무자들은 넓은 윤리적 성찰을 가능하게 하고 이해관계자가 놓칠 수 있는 피해를 식별하는 AHA!의 가치에 긍정적이었으나, 사전 사용 대 사후 사용 및 작업량에 대한 의견은 다양했습니다.
• AHA!는 실무자가 가능한 피해를 상상하고 성찰하는 데 도움이 되는 도구의 설계 시사점을 제공합니다.