[论文解读] Evaluating Machine Perception of Indigeneity: An Analysis of ChatGPT's Perceptions of Indigenous Roles in Diverse Scenarios

Cecilia Delgado Solorzano, Carlos Toxtli Hernandez|arXiv (Cornell University)|Jan 1, 2023

FinTech, Crowdfunding, Digital Finance被引用 1

一句话总结

本研究通过情景化提示和定性分析，评估了ChatGPT在三个模拟情境——田野、科技商店和地铁中——对原住民的感知。研究发现，该模型再现了细微且系统性的偏见，包括异域化和刻板印象化描述（例如‘高贵的野蛮人’、‘神奇的萨满’），与非裔白人个体相比，其标签差异具有统计学显著性（p < 0.001），尽管表面上并无明显种族主义表现。

ABSTRACT

Large Language Models (LLMs), like ChatGPT, are fundamentally tools trained on vast data, reflecting diverse societal impressions. This paper aims to investigate LLMs' self-perceived bias concerning indigeneity when simulating scenarios of indigenous people performing various roles. Through generating and analyzing multiple scenarios, this work offers a unique perspective on how technology perceives and potentially amplifies societal biases related to indigeneity in social computing. The findings offer insights into the broader implications of indigeneity in critical computing.

研究动机与目标

• 探究大型语言模型（如ChatGPT）在多样化社会情境中对原住民的感知方式。
• 揭示人工智能生成的原住民形象中隐含的细微且系统性的偏见，这些偏见反映了社会权力结构与殖民历史的遗留影响。
• 评估大型语言模型的自我评估标签与人类对偏见的判断之间的一致性，以评估模型自我反思的准确性。
• 通过揭示人工智能系统如何内化并投射对原住民群体的边缘化表征，为伦理化人工智能设计做出贡献。
• 倡导在人工智能开发过程中将原住民的声音、规范和监督置于核心位置，以应对表征性伤害。

提出的方法

• 设计了三个截然不同的假设情景：田野中的一个人、科技商店中的一个人，以及地铁中的一个人。
• 通过提示工程，在各种角色中模拟原住民与白人/非裔白人个体，为每个情景生成多个大型语言模型响应。
• 通过定性主题分析，识别生成文本中反复出现的语言模式、描述性词汇和刻板印象原型。
• 使用独立样本t检验进行统计分析，比较不同情景中原住民与非裔白人个体在标签上的差异。
• 使用Cohen's Kappa统计量评估大型语言模型生成的标签与人工标注标签之间的一致性。
• 采用情景化评估作为新方法，以探测人工智能系统的立场定位，并在社会技术系统中模拟原住民视角。

实验结果

研究问题

• RQ1 ChatGPT在多样化社会情境中如何呈现原住民个体，与非原住民个体相比有何差异？
• RQ2 该大型语言模型在多大程度上再现或挑战了殖民时代刻板印象（如‘高贵的野蛮人’或‘神奇的萨满’）？
• RQ3 大型语言模型对自身标签的偏见评估与人类标注的刻板语言判断在多大程度上一致？
• RQ4 人工智能系统内化并投射与原住民身份相关的细微且系统性偏见，在社会计算情境中会产生何种影响？
• RQ5 情景化提示能否作为一种有效方法，用于检测和分析大型语言模型中的立场定位与偏见？

主要发现

• 在所有情景中，大型语言模型在原住民与非裔白人个体之间表现出统计学上显著的标签差异，田野和地铁情景的p值均小于0.001，商店情景的p值小于0.01。
• 在田野情景中，80%的原住民描述被异域化或刻板化，例如被描述为‘传统的’或‘与祖先植物相连的’，而白人个体则被中性描述。
• 在科技商店情景中，26%的原住民描述与文化产品相关，如‘带有独特部落图案的手织毛毯’，而白人个体则被描绘为普通交易。
• 在地铁情景中，93%的原住民描述包含异域化描述，如‘身着鲜艳的仪式服饰’，而白人个体则被描绘为平淡无奇。
• Cohen's Kappa得分显示，大型语言模型生成的标签与人类判断之间存在高度至近乎完美的一致性（k = 0.766–0.966），表明该模型在很大程度上模仿了人类对偏见的认知。
• 尽管具备一定的自我批判能力，该大型语言模型并未自动纠正偏见，揭示了在伦理化人工智能开发中过度依赖内部自我评估的局限性。