[논문 리뷰] "Genlangs" and Zipf's Law: Do languages generated by ChatGPT statistically look human?

Justin Diamond|arXiv (Cornell University)|2023. 03. 31.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 ChatGPT가 생성한 인공적으로 구성된 언어('genlangs')가 자연어의 통계적 성질을 보이는지, 특히 지프의 법칙을 따르는지 조사한다. 세 개의 AI 생성 언어(Voxphera, Vivenzia, Lumivoxa)에 대한 통계언어학적 분석 결과, genlangs는 지프의 법칙을 밀도 있게 따르며, 이는 인간 언어와 통계적으로 유사하다는 것을 시사하고, 인간의 지도 하에 AI가 기능적으로 완전한 conlangs를 생성할 수 있음을 뒷받침한다.

ABSTRACT

OpenAI's GPT-4 is a Large Language Model (LLM) that can generate coherent constructed languages, or "conlangs," which we propose be called "genlangs" when generated by Artificial Intelligence (AI). The genlangs created by ChatGPT for this research (Voxphera, Vivenzia, and Lumivoxa) each have unique features, appear facially coherent, and plausibly "translate" into English. This study investigates whether genlangs created by ChatGPT follow Zipf's law. Zipf's law approximately holds across all natural and artificially constructed human languages. According to Zipf's law, the word frequencies in a text corpus are inversely proportional to their rank in the frequency table. This means that the most frequent word appears about twice as often as the second most frequent word, three times as often as the third most frequent word, and so on. We hypothesize that Zipf's law will hold for genlangs because (1) genlangs created by ChatGPT fundamentally operate in the same way as human language with respect to the semantic usefulness of certain tokens, and (2) ChatGPT has been trained on a corpora of text that includes many different languages, all of which exhibit Zipf's law to varying degrees. Through statistical linguistics, we aim to understand if LLM-based languages statistically look human. Our findings indicate that genlangs adhere closely to Zipf's law, supporting the hypothesis that genlangs created by ChatGPT exhibit similar statistical properties to natural and artificial human languages. We also conclude that with human assistance, AI is already capable of creating the world's first fully-functional genlang, and we call for its development.

연구 동기 및 목표

• 대규모 언어 모델이 생성한 인공 언어(genlangs)가 자연어의 통계적 특징인 지프의 법칙을 따르는지 확인하는 것.
• ChatGPT가 생성한 genlangs가 인간어 및 인공 conlangs에서 관찰되는 동일한 언어적 규칙성을 보이는지 평가하는 것.
• 인간의 감시 하에 AI가 완전히 기능하는 인공 언어를 생성할 잠재력을 평가하는 것.
• LLM의 훈련 데이터 분포—지프의 빈도 패턴을 가진 인간 언어가 풍부하게 포함된 것—이 genlangs가 이러한 통계적 성질을 이어받는지 조사하는 것.

제안 방법

• GPT-4를 사용하여 프롬프트 엔지니어링을 통해 일관되고 어휘적으로 통합되며 번역 기능을 갖춘 언어 체계를 생성함.
• 각 genlang에 대해 10,000단어 이상의 텍스트 코퍼스를 편성하여 언어적 일관성과 어휘 다양성을 확보함.
• 각 코퍼스에서 어휘 빈도 분포를 추출하고 빈도 순으로 정렬하여 지프의 법칙에 대한 적합도를 분석함.
• 어휘 순위 대 빈도의 로그-로그 도표를 작성하고, 선형 회귀의 R² 값으로 적합도를 정량화함.
• 회귀선의 기울기를 이론적 지프의 법칙 기울기 -1과 비교하여 genlangs가 예상되는 반비례 관계에 얼마나 가까운지 평가함.
• 통계적 유의성을 R² 및 빈도 분포의 시각적 점검을 통해 평가하여 genlangs가 힘의 법칙 패턴을 따르는지 판단함.

실험 결과

연구 질문

• RQ1 ChatGPT가 생성한 AI 기반 인공 언어(genlangs)는 인간 언어의 통계적 특징인 지프의 법칙을 따르는가?
• RQ2 genlangs의 어휘 빈도 분포가 지프의 법칙이 예측하는 반비례 관계를 어느 정도 반영하는가?
• RQ3 genlangs의 통계적 성질이 자연어 및 인공 인간 언어와 유사한가, 특히 어휘 빈도 스케일링 측면에서?
• RQ4 LLM의 훈련 데이터—지프의 분포 패턴을 가진 많은 인간 언어가 포함된 것—이 genlangs가 이러한 성질을 이어받는 데 기여하는가?
• RQ5 지프의 법칙을 따름은 AI가 생성한 언어의 '인간다움'에 대한 인식에 어떤 함의를 지닌다?

주요 결과

• Voxphera, Vivenzia, Lumivoxa 세 genlangs 모두 지프의 법칙을 강하게 따르며, 모든 언어에서 R² 값이 0.95를 초과함.
• 각 genlang의 로그-로그 빈도-순위 회귀선 기울기가 -1에 매우 가까워, 지프의 법칙과 일치하는 힘의 법칙 분포임을 시사함.
• 빈도 분포의 시각적 점검 결과, 가장 빈도가 높은 어휘가 덜 빈도가 높은 것들보다 현저히 더 자주 나타남을 확인하여 예상되는 반비례 관계를 따름.
• 결과는 genlangs가 인간 언어의 통계적 규칙성을 인간이 생성하지 않은 상태에서도 이어받고 있음을 시사하며, 이는 AI 생성 언어가 인간 언어와 통계적으로 유사함을 뒷받침함.
• 이 연구는 genlangs가 어휘 빈도 분포 측면에서 인간 언어와 통계적으로 구별되지 않음을 확인하여, 기능적인 conlangs로서의 잠재력을 뒷받침함.
• 인간의 보조가 동반될 경우, 이 논문은 AI가 이미 완전히 기능하는 인간과 유사한 인공 언어를 생성할 수 있음을 주장함.