[论文解读] Do Generative AI Models Output Harm while Representing Non-Western Cultures: Evidence from A Community-Centered Approach

Sourojit Ghosh, Pranav Narayanan Venkit+3 more|arXiv (Cornell University)|Jul 20, 2024

Psychology of Moral and Emotional Judgment被引用 4

一句话总结

本研究通过以社区为中心的方法，探究文本到图像生成式人工智能模型如何歪曲非西方文化，特别是印度次大陆文化。基于对5个焦点小组的扎根理论分析，识别出新型的表征伤害——异域化与文化挪用，揭示了人工智能输出中的系统性偏见，并提出了促进全球人工智能发展中文化准确性和包容性的社会技术设计准则。

ABSTRACT

Our research investigates the impact of Generative Artificial Intelligence (GAI) models, specifically text-to-image generators (T2Is), on the representation of non-Western cultures, with a focus on Indian contexts. Despite the transformative potential of T2Is in content creation, concerns have arisen regarding biases that may lead to misrepresentations and marginalizations. Through a community-centered approach and grounded theory analysis of 5 focus groups from diverse Indian subcultures, we explore how T2I outputs to English prompts depict Indian culture and its subcultures, uncovering novel representational harms such as exoticism and cultural misappropriation. These findings highlight the urgent need for inclusive and culturally sensitive T2I systems. We propose design guidelines informed by a sociotechnical perspective, aiming to address these issues and contribute to the development of more equitable and representative GAI technologies globally. Our work also underscores the necessity of adopting a community-centered approach to comprehend the sociotechnical dynamics of these models, complementing existing work in this space while identifying and addressing the potential negative repercussions and harms that may arise when these models are deployed on a global scale.

研究动机与目标

• 探究文本到图像（T2I）模型如何表征印度文化及其次文化，特别是在非西方语境下。
• 揭示人工智能生成内容中针对多样化印度社群产生边缘化或歪曲表征的新型表征伤害形式。
• 制定基于文化背景、以社区为本的设计原则，以实现更公平、更准确的T2I系统。
• 通过将全球南方边缘化群体的声音置于中心，挑战人工智能伦理中西方中心主义框架的主导地位。
• 倡导一种社会技术方法进行人工智能设计，将文化知识与社区能动性整合到模型开发过程中。

提出的方法

• 在来自不同印度次文化与地区的25名参与者中，组织了5个以社区为基础的焦点小组，探讨用户针对特定文化提示生成的T2I输出。
• 采用扎根理论分析法（Charmaz, 2017），系统识别并分类人工智能生成图像中表征伤害的模式。
• 通过参与者选择的英文提示，实时生成Stable Diffusion模型的输出，以分析视觉表征。
• 基于视觉与叙事内容的主题编码，定义并操作化两种新型表征伤害：异域化与文化挪用。
• 通过社会技术视角开发设计准则，整合社区参与者与文化专家的洞见。
• 通过在GitHub仓库公开研究材料，确保研究的透明性与可复现性。

实验结果

研究问题

• RQ1 T2I输出如何表征印度文化及其次文化？这些表征对不同文化群体有何影响？
• RQ2 T2I系统与印度文化语境互动时，会涌现出哪些新型表征伤害形式？
• RQ3 如何通过以社区为中心的设计原则减轻这些伤害，并提升生成式人工智能系统中的文化准确性？
• RQ4 为何尝试通过提示生成非异域化、准确的表征，却无法产生文化上恰当的输出？
• RQ5 表层文化线索在用户意图明确的情况下，为何仍会持续导致误表征？

主要发现

• T2I模型持续产生对印度文化的异域化表征，其特征包括过度呈现乡村场景、所有女性呈现形象均穿着纱丽等传统服饰，以及对市场或日常生活场景的过度鲜艳描绘。
• 即使用户尝试通过优化提示来避免刻板印象图像，异域化现象依然存在，表明模型训练数据与生成逻辑中存在系统性偏见。
• 文化挪用现象普遍存在，包括错误融合地区早餐食品、错误呈现地区服饰的缠绕方式，以及对传统舞蹈配饰的不准确使用。
• 参与者报告称，此类误表征导致文化抹除与边缘化，尤其影响较少被关注的次文化与地区身份。
• 本研究发现，T2I模型缺乏对文化的细致理解，将文化特征视为孤立的刻板符号，而非语境化嵌入的实践。
• 尽管用户努力生成准确表征，模型仍无法输出文化上恰当的内容，凸显了基于社区的信息与设计的迫切需求。