[论文解读] AI Suggestions Homogenize Writing Toward Western Styles and Diminish Cultural Nuances

D. P. Agarwal, Mor Naaman+1 more|arXiv (Cornell University)|Sep 17, 2024

Computational and Text Analysis Methods被引用 11

一句话总结

研究表明以西方为中心的AI写作建议在美国人身上比印度人更能提高生产力，并使印度的写作趋向西方风格，从而降低文化细微差异。

ABSTRACT

Large language models (LLMs) are being increasingly integrated into everyday products and services, such as coding tools and writing assistants. As these embedded AI applications are deployed globally, there is a growing concern that the AI models underlying these applications prioritize Western values. This paper investigates what happens when a Western-centric AI model provides writing suggestions to users from a different cultural background. We conducted a cross-cultural controlled experiment with 118 participants from India and the United States who completed culturally grounded writing tasks with and without AI suggestions. Our analysis reveals that AI provided greater efficiency gains for Americans compared to Indians. Moreover, AI suggestions led Indian participants to adopt Western writing styles, altering not just what is written but also how it is written. These findings show that Western-centric AI models homogenize writing toward Western norms, diminishing nuances that differentiate cultural expression.

研究动机与目标

• 评估以西方为中心的AI写作建议如何影响来自不同文化背景的用户（印度 vs. 美国）。
• 衡量各文化中AI建议带来的生产力增益与参与度。
• 检验AI写作建议是否将非西方写作趋向西方风格的同质化。
• 讨论在AI中嵌入西方规范的文化危害，并提出缓解策略。

提出的方法

• 2x2 between-subjects 实验，参与者共118人（60名印度人，58名美国人）。
• 条件：通过GPT-4o的AI建议 vs 无AI，及参与者文化（印度 vs 美国）的交叉设计。
• 从霍夫斯泰德的‘文化洋葱’设计的四个写作任务，以揭示显性和隐性文化方面。
• 来自GPT-4o的内联自动完成功能在输入暂停（100 ms）后显示；TAB接受，ESC拒绝；记录交互。
• 指标包括对AI的依赖、建议接受率、对建议的修改以及写作生产力；NLP指标包括Type-Token Ratio和嵌入向量的余弦相似度。
• 提示语和数据收集获得IRB批准；包含人口统计调查以确认文化差异（SSVS）。

Figure 1. A representation of the potential cultural homogenization from Western-centric AI models

实验结果

研究问题

• RQ1 RQ1：使用以西方为中心的AI写作是否对来自西方文化的用户比对来自非西方文化的用户带来更大收益？
• RQ2 RQ2：使用以西方为中心的AI写作是否将非西方用户的写作风格同质化为西方风格？

主要发现

• AI在印度和美国参与者身上都提高生产力，且美国人提升更大。
• AI导致印度参与者的写作更像美国人的风格，指示西方风格的同质化。
• 印度参与者对AI建议的参与度（AI依赖）更高，接受的建议比例也高于美国人。
• 共显示了12,015条AI建议，接受了1,476条（12.3%）；通过Escape明确拒绝的占比0.6%，大多数拒绝发生在流程中。
• 顶级自动完成建议显示出西方偏见，尤其是在食品和节日任务方面（表4）。
• 十个 Schwartz 价值中有八个在印度与美国参与者之间存在显著差异，支持文化差异。