[論文レビュー] "Genlangs" and Zipf's Law: Do languages generated by ChatGPT statistically look human?

Justin Diamond|arXiv (Cornell University)|Mar 31, 2023

Topic Modeling被引用数 4

ひとこと要約

本研究は、ChatGPTが生成したAI由来の構築言語（'genlangs'）が、自然人間言語の統計的性質を示すかどうかを調査し、ジフの法則への適合性に注目している。3つのAI生成言語（Voxphera、Vivenzia、Lumivoxa）のコーパスを用いた統計的言語学的分析により、genlangsがジフの法則に極めてよく適合していることが判明した。これは、AI生成言語が統計的に人間言語に類似しており、人間の支援を受けることで完全に機能するコンラング（構築言語）が作成可能であることを裏付けるものである。

ABSTRACT

OpenAI's GPT-4 is a Large Language Model (LLM) that can generate coherent constructed languages, or "conlangs," which we propose be called "genlangs" when generated by Artificial Intelligence (AI). The genlangs created by ChatGPT for this research (Voxphera, Vivenzia, and Lumivoxa) each have unique features, appear facially coherent, and plausibly "translate" into English. This study investigates whether genlangs created by ChatGPT follow Zipf's law. Zipf's law approximately holds across all natural and artificially constructed human languages. According to Zipf's law, the word frequencies in a text corpus are inversely proportional to their rank in the frequency table. This means that the most frequent word appears about twice as often as the second most frequent word, three times as often as the third most frequent word, and so on. We hypothesize that Zipf's law will hold for genlangs because (1) genlangs created by ChatGPT fundamentally operate in the same way as human language with respect to the semantic usefulness of certain tokens, and (2) ChatGPT has been trained on a corpora of text that includes many different languages, all of which exhibit Zipf's law to varying degrees. Through statistical linguistics, we aim to understand if LLM-based languages statistically look human. Our findings indicate that genlangs adhere closely to Zipf's law, supporting the hypothesis that genlangs created by ChatGPT exhibit similar statistical properties to natural and artificial human languages. We also conclude that with human assistance, AI is already capable of creating the world's first fully-functional genlang, and we call for its development.

研究の動機と目的

• 大規模言語モデルが生成する構築言語（genlangs）が、自然人間言語の統計的特徴であるジフの法則に従うかどうかを特定すること。
• ChatGPTが生成したgenlangsが、人間および人工のコンラングで観察される同じ言語的規則性を示すかどうかを評価すること。
• 人間の監視のもとでAIが完全に機能する構築言語を生成する可能性を評価すること。
• LLMの訓練データの分布—ジフの法則に従う頻度パターンを持つ多くの人間言語が含まれる—が、その結果として生じるgenlangsが、これらの統計的性質を継承するかどうかを調査すること。

提案手法

• 本研究では、GPT-4を用い、プロンプト工学により一貫性があり、語彙的に整合性があり、翻訳可能な言語的システムを生成することで、3つの構築言語（Voxphera、Vivenzia、Lumivoxa）を生成した。
• 各genlangについて、10,000語以上のテキストコーパスを構築し、言語的整合性と語彙的多様性を確保した。
• 各コーパスから語の頻度分布を抽出し、頻度順にランク付けしてジフの法則への適合性を分析した。
• 語のランクと頻度の対数スケールでのプロットを作成し、線形回帰の決定係数R²値を用いて適合度を定量化した。
• 回帰直線の勾配を理論的なジフ的勾配（-1）と比較し、genlangsが期待される逆比例関係にどの程度近いかを評価した。
• 統計的有意性は、R²値と頻度分布の視覚的検査を用いて評価し、genlangsがパワー則のパターンに従っているかどうかを判断した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTが生成するAI由来の構築言語（genlangs）は、人間言語の統計的特徴として知られるジフの法則に従うのか？
• RQ2 genlangsにおける語の頻度分布は、ジフの法則が予測する逆比例関係をどの程度再現するのか？
• RQ3 genlangsの統計的性質は、自然言語および人工人間言語と類似しているのか、特に語の頻度スケーリングの観点からどうか？
• RQ4 LLMの訓練データ—ジフ的分布を持つ多くの人間言語が含まれる—が、その結果として生じるgenlangsが、この性質を継承するのか？
• RQ5 ジフの法則への適合が、AI生成言語の「人間らしさ」に対する認識にどのような意味を持つのか？

主な発見

• genlangsであるVoxphera、Vivenzia、Lumivoxaは、全言語で0.95を上回るR²値を示し、ジフの法則への強い適合を示した。
• 各genlangの対数スケールでの頻度-ランク回帰の勾配は-1に近く、ジフの法則に一致するパワー則分布であることが示された。
• 頻度分布の視覚的検査により、最も頻出する語が著しく多く出現しており、期待される逆比例関係に従っていることが確認された。
• 結果から、ChatGPTが生成するgenlangsは、人間が作成したものではないにもかかわらず、人間言語の統計的規則性を継承していることが示唆された。
• 本研究は、genlangsが語の頻度分布の観点から人間言語と統計的に区別できないことから、それらが機能的なコンラングとしての可能性を有すると結論づけた。
• 人間の支援を受けることで、AIはすでに完全に機能する人間らしい構築言語を生成できると、本研究は主張している。