[논문 리뷰] How GPT-3 responds to different publics on climate change and Black Lives Matter: A critical appraisal of equity in conversational AI

Kaiping Chen, Anqi Shao외 2명|arXiv (Cornell University)|2022. 09. 27.

Climate Change Communication and Perception인용 수 8

한 줄 요약

이 논문은 의사결정 민주주의 이론을 기반으로 한 프레임워크를 제안하여 인간-AI 대화의 형평성 평가를 시도하며, 기후 변화와 블랙 라이브스 매터에 대한 GPT-3의 반응에 적용한다. 연구 결과, GPT-3는 교육 수준과 의견 소수자 집단에게 상당히 열 劣한 사용자 경험을 제공함을 확인하였는데, 이는 이러한 사용자들이 가장 큰 지식 습득을 보였음에도 불구하고 응답에서 더 부정적인 언어를 더 많이 사용하기 때문이다. 이는 대화형 AI에서의 체계적 형평성 문제를 드러낸다.

ABSTRACT

Autoregressive language models, which use deep learning to produce human-like texts, have become increasingly widespread. Such models are powering popular virtual assistants in areas like smart health, finance, and autonomous driving. While the parameters of these large language models are improving, concerns persist that these models might not work equally for all subgroups in society. Despite growing discussions of AI fairness across disciplines, there lacks systemic metrics to assess what equity means in dialogue systems and how to engage different populations in the assessment loop. Grounded in theories of deliberative democracy and science and technology studies, this paper proposes an analytical framework for unpacking the meaning of equity in human-AI dialogues. Using this framework, we conducted an auditing study to examine how GPT-3 responded to different sub-populations on crucial science and social topics: climate change and the Black Lives Matter (BLM) movement. Our corpus consists of over 20,000 rounds of dialogues between GPT-3 and 3290 individuals who vary in gender, race and ethnicity, education level, English as a first language, and opinions toward the issues. We found a substantively worse user experience with GPT-3 among the opinion and the education minority subpopulations; however, these two groups achieved the largest knowledge gain, changing attitudes toward supporting BLM and climate change efforts after the chat. We traced these user experience divides to conversational differences and found that GPT-3 used more negative expressions when it responded to the education and opinion minority groups, compared to its responses to the majority groups. We discuss the implications of our findings for a deliberative conversational AI system that centralizes diversity, equity, and inclusion.

연구 동기 및 목표

• 다양한 인구 집단을 대상으로 대화 시스템의 형평성을 평가하기 위한 체계적 지표가 부족한 데 대비하여 이를 해결하고자 한다.
• GPT-3의 대화 응답이 성별, 인종, 교육 수준, 영어 모국어 여부, 기후 변화 및 BLM에 대한 사전 의견에 따라 어떻게 다름을 조사하고자 한다.
• GPT-3와 같은 대화형 AI 시스템이 소수자나 소수 의견 집단에게 형평성 있는 대화를 촉진하는지 또는 방해하는지 평가하고자 한다.
• 의사결정 민주주의와 과학·기술 연구 이론을 기반으로 한 프레임워크를 개발하여 AI-사용자 상호작용의 형평성 감사를 수행하고자 한다.

제안 방법

• 3,290명의 다양한 배경과 의견 프로필을 가진 개인들과 GPT-3 간의 대화 라운드 20,000회 이상을 포함한 대규모 감사 연구를 수행하였다.
• 기후 변화와 블랙 라이브스 매터 운동이라는 높은 사회적 관심을 끈 주제에 대해 사용자 입력과 GPT-3의 응답을 수집하였다.
• 자연어 처리 기법을 적용하여 응답 톤을 분석하고, 정서 분석과 어휘 분석을 통해 GPT-3의 응답에서 부정적 표현을 탐지하였다.
• 성별, 인종/민족, 교육 수준, 영어 모국어 여부, 사전 대화에서의 의견을 기준으로 사용자를 하위 집단으로 분류하였다.
• 의사결정 민주주의와 과학·기술 연구 이론을 기반으로 한 프레임워크를 활용하여 대화의 형평성 문제를 해석하고 사용자 경험 격차를 평가하였다.
• 대화 전후 사용자의 태도와 지식 변화를 추적하여 지식 습득과 태도 변화를 측정하였다.

실험 결과

연구 질문

• RQ1 GPT-3의 대화 행동은 기후 변화와 블랙 라이브스 매터에 대해 성별, 인종, 교육 수준, 언어, 의견 기반 하위 집단 간에 어떻게 다를까?
• RQ2 기후 변화 및 BLM에 대한 다양한 하위 집단에서 GPT-3 대화의 사용자 경험 품질과 지식 습득 간의 관계는 어떠한가?
• RQ3 GPT-3의 응답이 교육 수준과 의견 소수자 집단에게 특히 부정적 표현을 더 많이 사용함으로써 언어적 편향을 보이는 정도는 어느 정도일까?
• RQ4 응답 톤과 참여 품질의 차이가 AI 생성 대화의 공정성과 포용성 인식에 어떤 영향을 미치는가?
• RQ5 의사결정 민주주의 이론을 기반으로 한 프레임워크는 대화형 AI 시스템의 형평성 격차를 효과적으로 식별하고 평가할 수 있는가?

주요 결과

• GPT-3는 교육 수준과 의견 소수자 집단에게는 다수 집단보다 상당히 열 劣한 사용자 경험을 제공하였지만, 이러한 사용자들은 가장 큰 지식 습득을 보였다.
• 교육 수준과 의견 소수자 배경을 가진 사용자들은 GPT-3의 응답에서 유의미하게 더 많은 부정적 표현을 받았으며, 이는 대화 톤에서 언어적 편향이 있음을 시사한다.
• 사용자 경험 점수가 낮았음에도 불구하고, 교육 수준과 의견 소수자 집단은 대화 후 기후 변화 및 블랙 라이브스 매터 운동 지지 태도에서 가장 큰 변화를 보였다.
• 연구에서는 인식된 사용자 경험과 실제 지식 습득 간에 명확한 괴리가 있음을 확인하였으며, 이는 소수자 집단이 학습 결과에서는 가장 유리했지만 대화 품질에서는 가장 열 劣한 것으로 나타났다.
• GPT-3의 응답은 하위 집단 간에 균형 잡히지 않게 분포되어 있으며, 특히 어조와 참여 품질 측면에서 특정 집단이 체계적으로 불리하게 대우됨을 확인하였다.
• 결과적으로, 과학과 사회 정의 문제를 포함한 고위험 사회 대화에서 대화형 AI의 형평성 중심 설계가 절실한 필요성을 드러냈다.