[論文レビュー] Dissociating language and thought in large language models

Kyle Mahowald, Anna A. Ivanova+4 more|arXiv (Cornell University)|Jan 16, 2023

Topic Modeling被引用数 91

ひとこと要約

論文は形式的な語学能力と機能的な語学能力を区別し、LLMsは言語の形式的側面には優れている一方、専門的な微調整や外部モジュールがないと機能的・世界指向の推論では遅れている。

ABSTRACT

Large Language Models (LLMs) have come closest among all models to date to mastering human language, yet opinions about their linguistic and cognitive capabilities remain split. Here, we evaluate LLMs using a distinction between formal linguistic competence -- knowledge of linguistic rules and patterns -- and functional linguistic competence -- understanding and using language in the world. We ground this distinction in human neuroscience, which has shown that formal and functional competence rely on different neural mechanisms. Although LLMs are surprisingly good at formal competence, their performance on functional competence tasks remains spotty and often requires specialized fine-tuning and/or coupling with external modules. We posit that models that use language in human-like ways would need to master both of these competence types, which, in turn, could require the emergence of mechanisms specialized for formal linguistic competence, distinct from functional competence.

研究の動機と目的

• 形式的言語能力（規則とパターン）と機能的言語能力（世界での言語の使用）との区別を動機づけ、正式に定義する。
• 現代のLLMsが大規模に形式的言語能力を達成しているかを評価し、推論・世界知識・状況モデリング・社会認知などの領域で機能的な能力のギャップを特定する。
• 形式的/機能的区別を人間の神経科学に基づいて据え付け、LLMの能力と限界を解釈する。
• 将来の言語モデルとAGIの構築・評価に対する含意を論じる。

提案手法

• 言語と思考の解離に関する認知科学と神経科学の既存の証拠をレビューする。
• BLiMP や SyntaxGym のようなベンチマークを用いて、階層構造・長距離依存などの形式的言語タスクにおけるLLMsの性能を評価する。
• スケーリングと微調整（例：RLHF）が領域横断で機能的能力にどう影響するかを分析する。
• 内部表現が抽象的な言語構造を符号化しているかを解釈するための機械的・プローブ的視点を提供する。
• モデルの挙動と人間の神経構造との比較を据え、言語処理と非言語的認知を分離する。

Figure 1: Successful use of language relies on multiple cognitive skills, some of which (required for formal competence) are language-specific and some (required for functional competence) are not. A failure to acquire a particular skill would result in a specific type of language use deficit. Deter

実験結果

リサーチクエスチョン

• RQ1 LLMsは人間に類似した規則と階層構造の理解と同等の形式的言語能力を示すか？
• RQ2 現実世界の推論・世界知識・社会認知といった機能的言語能力をLLMsはどの程度示すか？
• RQ3 スケーリング・微調整・外部モジュールの追加は、形式的能力に対する機能的能力にどのように影響するか？
• RQ4 LLMsにおいて言語処理と一般的思考を解離させることを裏付ける神経科学・認知科学の証拠は何か？

主な発見

• LLMsは強力な形式的言語能力を示し、データとスケールの拡大とともに多くの複雑な言語現象を習得する。
• BLiMP や SyntaxGym のようなベンチマークは、文法性と統語依存において高いが完璧な人間レベルの性能を示す。
• LLMsは抽象化と階層的構造を学習し、長距離の主語–動詞一致や非局所的依存を含む。
• 機能的能力は依然として不均一でタスク/ドメインに高度に依存し、世界知識・推論・社会認知タスクを実行するには微調整や外部モジュールとの連携を要することが多い。
• 形式的能力は訓練データにより著しく向上する一方、機能的能力の獲得は劇的ではなく、スケーリングだけを超えた専門的手法に依存する。
• 人間の言語ネットワークは非言語的認知と解離可能である、という見解を支持し、言語モデルが言語的能力にもかかわらず人間の思考を完全には捉えられない可能性を示唆する。