[논문 리뷰] Playing with words: Comparing the vocabulary and lexical diversity of ChatGPT and humans

Pedro Reviriego, Javier Conde외 3명|arXiv (Cornell University)|2023. 08. 14.

Topic Modeling인용 수 5

한 줄 요약

이 연구는 다양한 작업을 통해 챗지피티와 인간이 생성한 텍스트의 어휘 및 어휘 다각성(lexical richness)을 RTTR 및 Mass와 같은 지표를 사용하여 비교한다. 분석 결과 챗지피티는 인간보다 일관되게 적은 고유어휘 수와 낮은 어휘 다양성을 보이며, 이는 향후 언어 진화와 어휘 사용에 장기적인 영향을 미칠 수 있음을 시사한다.

ABSTRACT

The introduction of Artificial Intelligence (AI) generative language models such as GPT (Generative Pre-trained Transformer) and tools such as ChatGPT has triggered a revolution that can transform how text is generated. This has many implications, for example, as AI-generated text becomes a significant fraction of the text, would this have an effect on the language capabilities of readers and also on the training of newer AI tools? Would it affect the evolution of languages? Focusing on one specific aspect of the language: words; will the use of tools such as ChatGPT increase or reduce the vocabulary used or the lexical richness? This has implications for words, as those not included in AI-generated content will tend to be less and less popular and may eventually be lost. In this work, we perform an initial comparison of the vocabulary and lexical richness of ChatGPT and humans when performing the same tasks. In more detail, two datasets containing the answers to different types of questions answered by ChatGPT and humans, and a third dataset in which ChatGPT paraphrases sentences and questions are used. The analysis shows that ChatGPT tends to use fewer distinct words and lower lexical richness than humans. These results are very preliminary and additional datasets and ChatGPT configurations have to be evaluated to extract more general conclusions. Therefore, further research is needed to understand how the use of ChatGPT and more broadly generative AI tools will affect the vocabulary and lexical richness in different types of text and languages.

연구 동기 및 목표

• 동일한 언어 작업을 수행할 때 챗지피티의 어휘와 어휘 다각성이 인간과 비교하여 어떻게 되는지 조사하는 것.
• AI가 생성한 텍스트가 언어의 미래 진화, 특히 어휘 빈도와 어휘 다양성 측면에서 영향을 미칠 수 있는지 평가하는 것.
• AI 생성 텍스트의 어휘 다각성 감소로 인한 어휘 침식의 잠재적 위험을 규명하는 것.
• 향후 인간 언어 사용 및 발전에 대한 생성형 AI 도구의 언어적 영향에 대한 연구 기반을 마련하는 것.
• 표준화된 데이터셋과 자동화된 도구를 개발하여 AI 어휘 성능을 대규모로 평가할 것을 촉구하는 것.

제안 방법

• 연구는 세 가지 데이터셋을 분석한다: 다양한 질문 유형에 대한 인간과 챗지피티의 응답, 그리고 인간 질문의 챗지피티 재구성(패러프레이즈) 결과.
• 어휘 다각성은 고유어휘 수 대비 총어휘 수 비율을 측정하는 RTTR(Root-Type-Token-Ratio) 및 Mass 지표를 사용하여 정량화한다.
• 보조 분석에서 불용어를 제거하여 내용어(명사, 동사, 형용사, 부사)를 분리하고 핵심 어휘 다각성을 평가한다.
• 작업 간 인간과 챗지피티 출력 결과를 비교하고, RTTR 및 Mass 점수의 시각화를 통해 차이점을 강조한다.
• 분석은 고유어휘 수와 어휘 다각성 추세에 중점을 두며, 통계 지표를 사용해 다양한 데이터셋 간 성능을 비교한다.
• 저자들은 향후 API 기반 자동화를 통해 책, 프롬프트, 모델 버전, 언어 등 다양한 분야에서 테스트를 확장할 것을 제안한다.

실험 결과

연구 질문

• RQ1 챗지피티가 다양한 질문 유형에서 인간보다 사용하는 고유어휘 수는 어떻게 다른가?
• RQ2 RTTR 및 Mass 지표로 측정했을 때 챗지피티는 인간에 비해 얼마나 낮은 어휘 다각성을 보이는가?
• RQ3 불용어와 내용어는 챗지피티와 인간 텍스트 간 어휘 다각성 비교에 어떻게 영향을 미치는가?
• RQ4 AI 생성 텍스트의 어휘 다각성 감소가 언어 학습과 언어의 미래 진화에 어떤 함의를 갖는가?
• RQ5 AI 생성 텍스트의 증가하는 사용이 어휘 빈도와 흔히 쓰이지 않는, 혹은 쇠퇴한 어휘의 생존에 어떻게 영향을 미칠 수 있는가?

주요 결과

• 모든 테스트 데이터셋에서 챗지피티는 인간보다 유의미하게 적은 고유어휘를 사용하여 더 좁은 어휘 범위를 보인다.
• RTTR 지표는 챗지피티의 어휘 다각성이 인간보다 항상 낮음을 보여주며, 작업 간 값은 0.0112에서 0.0130 사이로 변동한다.
• 불용어 제거 후에도 챗지피티는 여전히 낮은 어휘 다각성을 보이며, RTTR 값은 0.0129에서 0.0130 사이로 유지되어 내용어의 다양성 감소를 확인한다.
• Mass 지표는 챗지피티가 어휘 다각성이 낮은 텍스트를 생성함을 추가로 확인하며, 낮은 점수는 어휘 다양성 감소를 의미한다.
• 질문 응답 및 패러프레이징을 포함한 다양한 작업에서 결과가 일관되며, 챗지피티의 어휘 범위에 체계적인 제약이 있음을 시사한다.
• 연구는 향후 다른 AI 모델, 언어, 설정에서 이러한 결과가 일반화되는지 평가하기 위한 추가 연구가 필요하다고 결론내린다.