[論文レビュー] Large Language Models: The Need for Nuance in Current Debates and a Pragmatic Perspective on Understanding

Bram M. A. van Dijk, Tom Kouwenhoven+2 more|arXiv (Cornell University)|Oct 30, 2023

Topic Modeling被引用数 6

ひとこと要約

この論文は、大規模言語モデル（LLMs）に対する単純化された批判に反論し、それらの能力が単なる統計的パターンマッチングを超えるものであると主張する。言語的熟達の評価をより洗練されたものにすべきだと提唱する。また、『理解』や『意図性』をLLMsに帰属づけるための実用的哲学的枠組みを提示する。これは形而上学的真実ではなく、人間とAIの効果的な相互作用に有用な、行動に基づく抽象的概念である。

ABSTRACT

Current Large Language Models (LLMs) are unparalleled in their ability to generate grammatically correct, fluent text. LLMs are appearing rapidly, and debates on LLM capacities have taken off, but reflection is lagging behind. Thus, in this position paper, we first zoom in on the debate and critically assess three points recurring in critiques of LLM capacities: i) that LLMs only parrot statistical patterns in the training data; ii) that LLMs master formal but not functional language competence; and iii) that language learning in LLMs cannot inform human language learning. Drawing on empirical and theoretical arguments, we show that these points need more nuance. Second, we outline a pragmatic perspective on the issue of `real' understanding and intentionality in LLMs. Understanding and intentionality pertain to unobservable mental states we attribute to other humans because they have pragmatic value: they allow us to abstract away from complex underlying mechanics and predict behaviour effectively. We reflect on the circumstances under which it would make sense for humans to similarly attribute mental states to LLMs, thereby outlining a pragmatic philosophical context for LLMs as an increasingly prominent technology in society.

研究の動機と目的

• LLMsの能力に関する3つの主流の批判を再評価すること：それらは単に次の単語を予測するのみであり、機能的言語熟達に欠ける、人間の言語習得とは関係がないという主張。
• 現在の経験的および理論的証拠が、LLMsの言語的・認知的能力を評価するにあたり、より洗練されたアプローチを必要としていることの主張。
• 形而上学的主張ではなく、機能的有用性に基づいて、LLMsに理解や意図性といった心的状態を帰属づけるための実用的哲学的枠組みの構築。
• 科学、教育、社会におけるLLMsの役割について、より現実的で経験的根拠に基づき、哲学的に洗練された見方を提供すること。

提案手法

• 変換器ベースのモデルにおける句構造的および意味的表現に関する経験的発見を通じて、LLMsに対する繰り返し起こる批判の分析。
• 特にデンネットとローティの理論的業績を援用し、心的状態の帰属を実用的ツールとして位置づける。
• モデル行動の生物学的物理的説明と、理解の実用的帰属との区別をし、これらが異なる分析レベルで機能することを示す。
• 階層的解析、意味的推論、機能的言語使用を要するタスクにおけるLLMsのパフォーマンスを評価し、単なる次の単語予測を超える能力を示す。
• LLMsに理解を帰属づける意思決定は、意識に関する形而上学的主張ではなく、予測と相互作用における実用的有用性によって導かれるべきだと提唱する。
• 例として質問応答やコード生成のLLMs行動の事例研究を用い、実用的モデリングが人間とAIの協働を効果的に支える仕組みを示す。

実験結果

リサーチクエスチョン

• RQ1 LLMsは本当に単に次の単語を予測するだけなのか、それとも階層的文法的・意味的構造を表しているのか。
• RQ2 LLMsは機能的言語熟達を示せるのか、それとも形式的文法的パターンに限定されるのか。
• RQ3 分布的学習メカニズムを持つことから、LLMsは人間の言語習得を理解する上でどのような関連性を持つのか。
• RQ4 主観的経験が欠如しているとしても、LLMsに理解や意図性を実用的に帰属づけるのはどのような状況で有用なのか。
• RQ5 科学的にLLMsの『ブラックボックス』を解明する取り組みと矛盾を避けて、実用的哲学的枠組みがどのように共存できるのか。

主な発見

• LLMsは事前学習中に階層的文法的および意味的表現を学習するため、単なる次の単語予測を超えて、複雑な推論やテキスト生成が可能である。
• 経験的証拠により、LLMsが複雑な文法的構造を解析し、意味的関係を表現できることを示しており、統計的共起性を越えた内部表現が存在することを示唆している。
• 文脈に応じた応答や実用的推論といった機能的言語熟達は、LLMsで実証可能であり、それらが形式的文法に限定されているという主張に反する。
• LLMsは現在のところ言語の分布的モデルとして最良のものであり、特に分布的意味論の観点から、人間の言語習得プロセスの理解に役立つ洞察を提供している。
• LLMsに理解や意図性を実用的に帰属づける根拠は、形而上学的主張ではなく、モデル行動の予測や相互作用においてその帰属が実際の価値を生むことにある。
• モデル行動の生物学的物理的説明と、実用的帰属による心的状態の説明との区別により、矛盾を避けて、科学的および実用的両アプローチが共存可能である。