[論文レビュー] Large Linguistic Models: Investigating LLMs' metalinguistic abilities

Gašper Beguš, Maksymilian Dąbkowski+1 more|arXiv (Cornell University)|May 1, 2023

Natural Language Processing Techniques被引用数 11

ひとこと要約

この論文は、大規模言語モデルが妥当なメタ言語的分析を生成できることを示しており、OpenAI's o1が構文木の描画と音韻一般化の点で他を著しく上回る可能性がある。これは連鎖的思考に似た推論プロセスのためかもしれない。

ABSTRACT

The performance of large language models (LLMs) has recently improved to the point where models can perform well on many language tasks. We show here that--for the first time--the models can also generate valid metalinguistic analyses of language data. We outline a research program where the behavioral interpretability of LLMs on these tasks is tested via prompting. LLMs are trained primarily on text--as such, evaluating their metalinguistic abilities improves our understanding of their general capabilities and sheds new light on theoretical models in linguistics. We show that OpenAI's (2024) o1 vastly outperforms other models on tasks involving drawing syntactic trees and phonological generalization. We speculate that OpenAI o1's unique advantage over other models may result from the model's chain-of-thought mechanism, which mimics the structure of human reasoning used in complex cognitive tasks, such as linguistic analysis.

研究の動機と目的

• 大規模言語モデルのメタ言語能力を研究する動機づけ。彼らの一般的な言語能力を理解するため。
• メタ言語的タスクにおけるLLMの行動解釈性を prompting を用いて検証する研究プログラムを提案する。
• 発見を理論言語学への含意と、主にテキストで訓練されたモデルに関する意味と結びつける。

提案手法

• prompting 戦略を用いてLLMからメタ言語的分析を引き出す。
• 構文木の描画や音韻一般化などのタスクを評価する。
• これらのタスクに対するLLMsの行動解釈性を検証する研究プログラムを策定する。

実験結果

リサーチクエスチョン

• RQ1 prompting によってLLMは言語データの妥当なメタ言語的分析を生成できるか？
• RQ2 どのモデルが構文木描画や音韻一般化といったメタ言語的タスクで他を上回り，その理由は何か？
• RQ3 連鎖的思考様の機構がLLMのメタ言語的能力に寄与するか？

主な発見

• OpenAI o1 は構文木の描画と音韻一般化タスクで他のモデルを大幅に上回る。
• 著者らはこの利点が複雑な言語分析中の連鎖的思考様推論に関連している可能性を推測している。
• 本研究は、LLMが言語データのメタ言語的分析を生成できるという初の実証を提示する。
• テキストでの訓練とモデル設計が、観察されたメタ言語的能力と関連している。
• 本論文は prompting を用いてLLMsの行動解釈性を評価するプログラムを概説している。