[论文解读] Emergence of a phonological bias in ChatGPT

Juan Manuel de Toro|arXiv (Cornell University)|May 25, 2023

Topic Modeling被引用 5

一句话总结

本文表明，OpenAI的ChatGPT表现出一种音系偏见——具体而言是辅音偏见——这与人类语言处理中辅音在单词识别中优先于元音的现象相一致。尽管其训练机制与人类婴儿存在根本差异，这种偏见仍出现在英语和西班牙语等不同语言中，表明大型语言模型中存在类似认知的模式。

ABSTRACT

Current large language models, such as OpenAI's ChatGPT, have captured the public's attention because how remarkable they are in the use of language. Here, I demonstrate that ChatGPT displays phonological biases that are a hallmark of human language processing. More concretely, just like humans, ChatGPT has a consonant bias. That is, the chatbot has a tendency to use consonants over vowels to identify words. This is observed across languages that differ in their relative distribution of consonants and vowels such as English and Spanish. Despite the differences in how current artificial intelligence language models are trained to process linguistic stimuli and how human infants acquire language, such training seems to be enough for the emergence of a phonological bias in ChatGPT

研究动机与目标

• 调查类似ChatGPT的大规模语言模型是否表现出与人类语言处理中观察到的音系偏见相似的特征。
• 确定这种偏见是否在人工模型与人类婴儿之间存在根本性训练机制差异的情况下依然出现。
• 检验该偏见在辅音与元音分布不同的语言（如英语和西班牙语）中的跨语言一致性。
• 评估此类偏见的出现是否反映了神经网络序列建模中更深层次的内在属性。

提出的方法

• 本研究通过在英语和西班牙语中使用仅在元音或辅音位置上不同的最小对词，评估ChatGPT的单词识别行为。
• 分析模型在操纵辅音或元音存在情况下的响应，以测试其在单词识别中的偏好。
• 分析重点在于模型在区分单词时更依赖辅音而非元音的倾向。
• 通过比较具有不同音系结构的语言中的结果，检验所观察到偏见的稳健性。
• 对响应模式进行统计评估，识别出对基于辅音的单词识别的一致偏好。

实验结果

研究问题

• RQ1 ChatGPT是否表现出与人类语言处理中观察到的音系偏见相似的特征？
• RQ2 这种偏见是否在辅音与元音相对频率不同的语言中保持一致？
• RQ3 在通过自回归预测训练的语言模型中，是否可能在未明确教授音系特征的情况下出现辅音偏见？
• RQ4 该模型的行为与人类婴儿早期单词识别倾向相比有何异同？

主要发现

• ChatGPT在识别单词时始终优先考虑辅音而非元音，表现出与人类婴儿相似的辅音偏见。
• 该偏见在英语和西班牙语中均被观察到，表明其在不同音系结构下具有跨语言稳健性。
• 即使最小对词之间仅存在元音变化，模型对辅音的偏好依然存在。
• 该偏见的出现并未经过显式音系特征训练，表明其源于模型的架构与训练动态。