[論文レビュー] Emergence of a phonological bias in ChatGPT

Juan Manuel de Toro|arXiv (Cornell University)|May 25, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿は、OpenAIのChatGPTが、語の識別において母音よりも子音を優先するという、人間の言語処理と類似した音声的バイアス（具体的には子音バイアス）を示すことを示している。人間の乳児とは根本的に異なる学習メカニズムを経て学習しているにもかかわらず、英語やスペイン語といった言語においてもこのバイアスが出現する。これは、大規模言語モデルにおける言語的バイアスの出現に、認知的なパターンが共通して存在することを示唆している。

ABSTRACT

Current large language models, such as OpenAI's ChatGPT, have captured the public's attention because how remarkable they are in the use of language. Here, I demonstrate that ChatGPT displays phonological biases that are a hallmark of human language processing. More concretely, just like humans, ChatGPT has a consonant bias. That is, the chatbot has a tendency to use consonants over vowels to identify words. This is observed across languages that differ in their relative distribution of consonants and vowels such as English and Spanish. Despite the differences in how current artificial intelligence language models are trained to process linguistic stimuli and how human infants acquire language, such training seems to be enough for the emergence of a phonological bias in ChatGPT

研究の動機と目的

• 大規模言語モデル（ChatGPTなど）が、人間の言語処理で観察されるのと同様の音声的バイアスを示すかどうかを調査すること。
• 人工モデルと人間の乳児との間で学習メカニズムに根本的な違いがあるにもかかわらず、このようなバイアスが出現するかどうかを特定すること。
• 英語やスペイン語のように子音と母音の出現頻度が異なる言語において、このバイアスの言語間一貫性を検討すること。
• このようなバイアスの出現が、ニューラルネットワークの系列モデル化におけるより深い、本質的な性質を反映しているかどうかを評価すること。

提案手法

• 本研究は、英語およびスペイン語において、母音または子音の位置でのみ異なる最小対照対（minimal pairs）を用いて、ChatGPTの語識別行動を評価する。
• 子音または母音の有無を操作した刺激を提示し、モデルの反応を分析することで、語認識における好みをテストする。
• 分析は、語の区別に際して、母音よりも子音に依存する傾向に注目する。
• 音声構造の異なる言語間で結果を比較し、観察されたバイアスの頑健性を検証する。
• 応答パターンの統計的評価により、子音に基づく語識別の継続的好みが特定される。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、人間の言語処理で観察されるのと同様の音声的バイアスを示すか？
• RQ2 このバイアスは、子音と母音の相対的頻度が異なる言語間でも一貫しているか？
• RQ3 自己回帰的予測によって学習された言語モデルにおいて、明示的に音声的特徴を学習していないにもかかわらず、子音バイアスが出現できるか？
• RQ4 モデルの行動は、人間の乳児の初期語認識傾向とどのように比較できるか？

主な発見

• ChatGPTは、語の識別において母音よりも子音を常に優先する傾向を示しており、人間の乳児で観察されるのと類似した子音バイアスを示している。
• このバイアスは英語およびスペイン語の両方で観察され、音声的構造の違いにもかかわらず、言語間で頑健であることが示された。
• 最小対照対において、唯一の違いが母音の変化である場合でも、モデルの子音への好みは維持されている。
• 音声的特徴についての明示的学習が行われていないにもかかわらず、このバイアスが出現していることから、モデルのアーキテクチャおよび学習ダイナミクスに起因するものであると示唆される。