[論文レビュー] Why Linguistics Will Thrive in the 21st Century: A Reply to Piantadosi (2023)

Jordan Kodner, Sarah R. Payne+1 more|arXiv (Cornell University)|Aug 6, 2023

Language and cultural evolution被引用数 8

ひとこと要約

この論文はPiantadosiの主張を批判し、言語モデルがChomskyを否定するという主張は以下の点に反する、と論じる：（1）小データからの無制約学習は核心的学習理論上の限界の下で不可能である、（2）LLMは言語の科学理論ではない、（3）多重実現性はAIの模倣が人間の認知を等しく示すことにはならない、生成言語学は依然として不可欠である。

ABSTRACT

We present a critical assessment of Piantadosi's (2023) claim that "Modern language models refute Chomsky's approach to language," focusing on four main points. First, despite the impressive performance and utility of large language models (LLMs), humans achieve their capacity for language after exposure to several orders of magnitude less data. The fact that young children become competent, fluent speakers of their native languages with relatively little exposure to them is the central mystery of language learning to which Chomsky initially drew attention, and LLMs currently show little promise of solving this mystery. Second, what can the artificial reveal about the natural? Put simply, the implications of LLMs for our understanding of the cognitive structures and mechanisms underlying language and its acquisition are like the implications of airplanes for understanding how birds fly. Third, LLMs cannot constitute scientific theories of language for several reasons, not least of which is that scientific theories must provide interpretable explanations, not just predictions. This leads to our final point: to even determine whether the linguistic and cognitive capabilities of LLMs rival those of humans requires explicating what humans' capacities actually are. In other words, it requires a separate theory of language and cognition; generative linguistics provides precisely such a theory. As such, we conclude that generative linguistics as a scientific discipline will remain indispensable throughout the 21st century and beyond.

研究の動機と目的

• 現代の言語モデルが母語学習の制約とChomskyの見解を覆すかを評価する。
• 計算機的学習理論の結果から、小データからの無制約学習は実現不可能であると主張する。
• LLMs が言語と認知の科学的理論になり得るかを評価する。
• 人間の言語能力には言語と認知の別個の理論が必要であることを強調する。
• 21世紀における生成言語学の不可欠性を再確認する。

提案手法

• Piantadosi (2023) の LLMs と言語学習に関する主張を批判的に分析する。
• 概念ファミリー、データ提示、計算資源のトレードオフを示すために計算機的学習理論（CLT）を活用する。
• 評価データ中のバイアスやショートカットの可能性がLLMs の経験的結果に与える影響を説明する。
• BLiMP などのテストセットの例を用いて、パフォーマンスが真の文法知識ではなくショートカットを反映している可能性を示す。
• 多重実現性を論じ、表面的な行動類似性と基盤となる認知メカニズムの違いを区別する。

Figure 2: Growth in size of large language models compared to the predicted Moore’s Law growth rate, beginning with ELMo.

実験結果

リサーチクエスチョン

• RQ1 LLMs は人間の露出量と同等程度のデータサイズから無制約学習を示すか。
• RQ2 LLMs は言語と認知の信頼できる科学理論か、それとも出力を予測するだけか。
• RQ3 別個の言語と認知の理論（例：生成言語学）は予測を超えた解釈可能な説明を提供できるか。
• RQ4 LLMs が人間のような言語知識を符号化しているという証拠は、ショートカットを利用していることを超えて何を示すか。
• RQ5 計算機的学習理論の観点から“小さなデータ”学習の主張をどう解釈すべきか。

主な発見

• 人間的な学習様式に近いデータサイズからの無制約学習は、学習の基本的な計算法則の下で起こりにくい。
• 大規模言語モデルは非自明なアーキテクチャ的事前情報と大量のデータに依存しており、小データから人間のように学ぶという考えに挑戦を投げかける。
• 構文の評価ベンチマークはショートカットを許容することが多く、LLMs における人間のような言語学を示す結論を疑問視させる。
• 多重実現性は、同一の性能がAIと人間の認知メカニズムを同一にすることを意味しないことを示す。
• AI の能力を解釈するには別個の言語と認知の理論が必要であり、生成言語学の継続的な役割を支持する。