[论文解读] How GPT-3 responds to different publics on climate change and Black Lives Matter: A critical appraisal of equity in conversational AI

Kaiping Chen, Anqi Shao+2 more|arXiv (Cornell University)|Sep 27, 2022

Climate Change Communication and Perception被引用 8

一句话总结

本文提出了一种基于 deliberative democracy 的框架，用于评估人机对话中的公平性，将其应用于 GPT-3 在气候变化和 Black Lives Matter 话题上的回应。研究发现，尽管这些用户在知识获取方面表现最佳，但 GPT-3 对教育背景和观点少数群体的用户体验显著更差，原因在于其回应中使用了更多负面语言，凸显了对话式人工智能中的系统性不公平现象。

ABSTRACT

Autoregressive language models, which use deep learning to produce human-like texts, have become increasingly widespread. Such models are powering popular virtual assistants in areas like smart health, finance, and autonomous driving. While the parameters of these large language models are improving, concerns persist that these models might not work equally for all subgroups in society. Despite growing discussions of AI fairness across disciplines, there lacks systemic metrics to assess what equity means in dialogue systems and how to engage different populations in the assessment loop. Grounded in theories of deliberative democracy and science and technology studies, this paper proposes an analytical framework for unpacking the meaning of equity in human-AI dialogues. Using this framework, we conducted an auditing study to examine how GPT-3 responded to different sub-populations on crucial science and social topics: climate change and the Black Lives Matter (BLM) movement. Our corpus consists of over 20,000 rounds of dialogues between GPT-3 and 3290 individuals who vary in gender, race and ethnicity, education level, English as a first language, and opinions toward the issues. We found a substantively worse user experience with GPT-3 among the opinion and the education minority subpopulations; however, these two groups achieved the largest knowledge gain, changing attitudes toward supporting BLM and climate change efforts after the chat. We traced these user experience divides to conversational differences and found that GPT-3 used more negative expressions when it responded to the education and opinion minority groups, compared to its responses to the majority groups. We discuss the implications of our findings for a deliberative conversational AI system that centralizes diversity, equity, and inclusion.

研究动机与目标

• 为解决在多样化人群之间评估对话系统公平性缺乏系统性指标的问题。
• 探究 GPT-3 的对话回应在性别、种族、教育水平、英语作为母语与否以及对气候变化和 BLM 的观点等子群体之间的差异。
• 评估类似 GPT-3 的对话式人工智能系统是否促进或阻碍了公平对话，特别是对边缘化或少数观点群体的影响。
• 开发一种基于 deliberative democracy 和科学与技术研究的框架，用于审计人工智能与人类互动中的公平性。

提出的方法

• 开展了一项大规模审计研究，涵盖 GPT-3 与 3,290 名代表多样化人口统计和观点特征的个体之间的 20,000 多轮对话。
• 收集了用户输入和 GPT-3 在气候变化与布莱克生命重要运动两个高关注度话题上的回应。
• 应用自然语言处理技术分析回应语气，使用情感分析和词汇分析检测 GPT-3 回复中的负面表达。
• 根据性别、种族/族裔、教育水平、英语是否为母语以及对话前对相关话题的观点，对用户进行子群体分类。
• 采用基于 deliberative democracy 和科学与技术研究的框架，解释对话中的不公平现象，并评估用户体验差异。
• 追踪对话前后用户态度和知识的变化，以衡量知识获取和态度转变情况。

实验结果

研究问题

• RQ1 GPT-3 在气候变化和布莱克生命重要运动话题上，其对话行为在基于性别、种族、教育水平、语言和观点的子群体之间有何差异？
• RQ2 在不同子群体中，GPT-3 对话的用户体验质量与知识获取之间存在何种关系？
• RQ3 GPT-3 的回应在多大程度上表现出语言偏见，特别是对教育背景和观点少数群体使用了更多负面表达？
• RQ4 回应语气和参与质量的差异如何影响用户对人工智能生成对话的公平感和包容感？
• RQ5 基于 deliberative democracy 的框架能否有效识别并评估对话式人工智能系统中的公平性差距？

主要发现

• 尽管知识获取最多，GPT-3 对教育背景和观点少数群体的用户体验显著劣于多数群体。
• 来自教育背景和观点少数背景的用户在 GPT-3 回复中接收到显著更多的负面表达，表明对话语气存在语言偏见。
• 尽管用户体验评分较低，教育背景和观点少数群体在对话后对支持气候变化和布莱克生命重要运动的立场发生了最大的态度转变。
• 研究发现，感知的用户体验与实际的知识获取之间存在明显脱节，边缘化群体在学习成果上受益最多，但在对话质量上却最差。
• 研究结果表明，GPT-3 的回应在子群体之间并非公平分配，语气和参与质量系统性地对某些群体构成不利影响。
• 结果强调了在涉及科学与社会正义的高风险社会对话中，对话式人工智能需要以公平性为中心进行设计。