[論文レビュー] Meaning without reference in large language models

Steven T. Piantadosi, Felix Hill|arXiv (Cornell University)|Aug 5, 2022

Topic Modeling被引用数 71

ひとこと要約

本論文は、LLM が表現の内部的関係を通じて意味のある概念的役割を獲得できる可能性があると主張し、参照への明示的なグラウンディングがなくても、意味の概念的役割理論とどのように整合するかを概説する。

ABSTRACT

The widespread success of large language models (LLMs) has been met with skepticism that they possess anything like human concepts or meanings. Contrary to claims that LLMs possess no meaning whatsoever, we argue that they likely capture important aspects of meaning, and moreover work in a way that approximates a compelling account of human cognition in which meaning arises from conceptual role. Because conceptual role is defined by the relationships between internal representational states, meaning cannot be determined from a model's architecture, training data, or objective function, but only by examination of how its internal states relate to each other. This approach may clarify why and how LLMs are so successful and suggest how they can be made more human-like.

研究の動機と目的

• LLMs の意味は参照だけでなく概念的役割から生じうると主張する。
• 概念的役割理論をLLMの意味論を理解するための枠組みとして位置づける。
• LLMs の内部表現が人間の意味と認知に類似したものと関連しているという証拠を要約する。

提案手法

• 意味に関する哲学的・認知的理論（概念的役割）と参照について論じる。
• LLM の表現幾何と人間データおよびグラウンディングを結びつける実証的証拠をレビューする。
• LLM の内部状態の関係が人間の概念に類似した意味のある構造を符号化していると主張する。
• LLM を改善することは、内部の概念的役割と関係構造を充実させることを含むと提案する。

実験結果

リサーチクエスチョン

• RQ1 参照のグラウンディングがなく、内部状態が関係構造を符号化する場合、LLM は意味のある概念を有するか？
• RQ2 LLM の内部表現は人間の意味関係や概念的役割をどの程度反映しているか？
• RQ3 テキスト予測の訓練は、関係幾何と埋め込みを介して概念的役割の発見を支援するか？
• RQ4 グラウンディング、マルチモーダル入力、または目標指向計画は、LLM の意味の豊かさにどのような影響を与えるか？

主な発見

• LLMs は人間の意味的構造と一致する関係幾何学と埋め込みを示す。
• 内部状態の関係は出現的意味論と概念の一貫した使用を支える。
• 大規模テキストデータで訓練されたモデルは概念的役割の側面を捉えるという実証的証拠が示唆される。
• グラウンディングとマルチモーダル入力は人間の判断との整合性を高めるが、意味自体には必須ではない。
• テキストベースの訓練が人間の概念に類似した概念的役割を明らかにするという部分的な実証的支持がある。