[論文レビュー] Playing with words: Comparing the vocabulary and lexical diversity of ChatGPT and humans

Pedro Reviriego, Javier Conde+3 more|arXiv (Cornell University)|Aug 14, 2023

Topic Modeling被引用数 5

ひとこと要約

本研究では、RTTR や Mass といった指標を用いて、複数のタスクにおける ChatGPT と人間が生成したテキストの語彙および語彙の多様性を比較している。ChatGPT は人間と比較して一貫して少ない固有語を用い、語彙の多様性も低いことが判明した。これは、AI 生成コンテンツが議論を支配するようになると、言語の進化や語彙の使用に長期的影響を及ぼす可能性を示唆している。

ABSTRACT

The introduction of Artificial Intelligence (AI) generative language models such as GPT (Generative Pre-trained Transformer) and tools such as ChatGPT has triggered a revolution that can transform how text is generated. This has many implications, for example, as AI-generated text becomes a significant fraction of the text, would this have an effect on the language capabilities of readers and also on the training of newer AI tools? Would it affect the evolution of languages? Focusing on one specific aspect of the language: words; will the use of tools such as ChatGPT increase or reduce the vocabulary used or the lexical richness? This has implications for words, as those not included in AI-generated content will tend to be less and less popular and may eventually be lost. In this work, we perform an initial comparison of the vocabulary and lexical richness of ChatGPT and humans when performing the same tasks. In more detail, two datasets containing the answers to different types of questions answered by ChatGPT and humans, and a third dataset in which ChatGPT paraphrases sentences and questions are used. The analysis shows that ChatGPT tends to use fewer distinct words and lower lexical richness than humans. These results are very preliminary and additional datasets and ChatGPT configurations have to be evaluated to extract more general conclusions. Therefore, further research is needed to understand how the use of ChatGPT and more broadly generative AI tools will affect the vocabulary and lexical richness in different types of text and languages.

研究の動機と目的

• 同じ言語的タスクを実行する際、ChatGPT の語彙と語彙の多様性が人間と比べてどのように異なるかを調査すること。
• AI が生成するテキストが、語の頻度や語彙の多様性に関して、言語の将来の進化に影響を与える可能性があるかどうかを評価すること。
• AI が生成するテキストにおける語彙の多様性の低下により、語彙の枯渇が生じる可能性を特定すること。
• 生成AIツールが人間の言語使用と発展に与える言語的影響を今後研究する基盤を確立すること。
• AI 語彙パフォーマンスを大規模に評価できる、標準化されたデータセットと自動化ツールの作成を提唱すること。

提案手法

• 本研究では、人間と ChatGPT が異なる質問タイプに対して回答したデータセット、および ChatGPT が人間の質問を言い換えたデータセットの3つを分析対象としている。
• 語彙の多様性は、固有語数と全語数の比を測定する RTTR（Root-Type-Token-Ratio）および Mass メトリクスを用いて測定されている。
• 二次分析ではストップワードを除去し、名詞、動詞、形容詞、副詞などの内容語を分離して、コアな語彙の多様性を評価している。
• タスクごとに人間と ChatGPT の出力を比較し、RTTR および Mass スコアの可視化を通じて差を明確にしている。
• 分析は、固有語数と語彙の多様性のトレンドに焦点を当てており、統計的指標を用いて、複数のデータセット間でのパフォーマンスを比較している。
• 著者らは、今後、API を活用した自動化により、書籍、プロンプト、モデルバージョン、言語を網羅するテストのスケーリングを提案している。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT が異なる質問タイプで使用する固有語の数は、人間と比べてどのように異なるか？
• RQ2 RTTR および Mass メトリクスで測定した場合、ChatGPT は人間と比べてどれほど語彙の多様性が低いとされるか？
• RQ3 ストップワードと内容語が、ChatGPT と人間のテキスト間の語彙の多様性比較にどのように影響を与えるか？
• RQ4 AI が生成するテキストにおける語彙の多様性の低下が、言語学習や言語の将来の進化に及ぼす影響は何か？
• RQ5 AI が生成するコンテンツの使用が増加するにつれて、語の頻度やあまり使われない語、または古くなった語の存続にどのような影響を与えるだろうか？

主な発見

• ChatGPT は、全テストデータセットにおいて人間と比較して顕著に少ない固有語を使用しており、語彙の範囲が狭いことが示された。
• RTTR メトリクスでは、ChatGPT の語彙の多様性が人間よりも一貫して低く、タスクごとに 0.0112 から 0.0130 の範囲で変動している。
• ストップワードを除去した後も、ChatGPT は依然として低い語彙の多様性を示しており、RTTR 値は 0.0129 から 0.0130 の間で推移しており、内容語における多様性の低下が確認された。
• Mass メトリクスもさらに、ChatGPT が語彙の豊かさに欠けるテキストを生成していることを確認しており、低いスコアは語彙の多様性が低いことを示している。
• 結果は、質問への回答や言い換えのタスクを含め、さまざまなタスクで一貫しており、ChatGPT の語彙の範囲におけるシステム的制限を示唆している。
• 本研究は、これらの発見が他の AI モデル、言語、設定に一般化されるかどうかを評価するためのさらなる研究が求められると結論づけている。