[論文レビュー] Language Writ Large: LLMs, ChatGPT, Grounding, Meaning and Understanding

Stevan Harnad|arXiv (Cornell University)|Feb 3, 2024

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

本論文は、ChatGPT のような LLM が真に理解しているわけではないと主張する。LLM規模における善意の偏見、 grounding（基礎付け）のギャップ、間接的な口頭基礎付け、循環性、その他の要因がそれらの能力をどう形作るかについての直感を、ChatGPT-4 との対話として位置づけて提案する。

ABSTRACT

Apart from what (little) OpenAI may be concealing from us, we all know (roughly) how ChatGPT works (its huge text database, its statistics, its vector representations, and their huge number of parameters, its next-word training, and so on). But none of us can say (hand on heart) that we are not surprised by what ChatGPT has proved to be able to do with these resources. This has even driven some of us to conclude that ChatGPT actually understands. It is not true that it understands. But it is also not true that we understand how it can do what it can do. I will suggest some hunches about benign biases: convergent constraints that emerge at LLM scale that may be helping ChatGPT do so much better than we would have expected. These biases are inherent in the nature of language itself, at LLM scale, and they are closely linked to what it is that ChatGPT lacks, which is direct sensorimotor grounding to connect its words to their referents and its propositions to their meanings. These convergent biases are related to (1) the parasitism of indirect verbal grounding on direct sensorimotor grounding, (2) the circularity of verbal definition, (3) the mirroring of language production and comprehension, (4) iconicity in propositions at LLM scale, (5) computational counterparts of human categorical perception in category learning by neural nets, and perhaps also (6) a conjecture by Chomsky about the laws of thought. The exposition will be in the form of a dialogue with ChatGPT-4.

研究の動機と目的

• ChatGPT に類する LLM が本物の理解または意味を有しているかを評価する。
• LLM規模で出現し、性能に影響を与える収束偏りを特定する。
• 直接的な感覚運動 grounding の欠如が指示対象 referents や命題にいかに影響するかを検討する。
• 大規模言語モデルにおける grounding、定義、表現に関する仮説を提案する。

提案手法

• トピックを探るために ChatGPT-4 との対話を提示する。
• LLM規模で出現する可能性のある一連の収束偏りを論じる。
• 間接的な言語的 grounding、定義の循環性、知覚的分類とのつながりを概説する。
• grounding と言語理解のより広い理論へ主張を結びつける。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT に類する LLM は自分が出力する意味を本当に理解しているのか。
• RQ2 LLM規模で出現する収束偏りは、性能を高めるのか、それとも限界とするのか。
• RQ3 直接的な感覚運動 grounding の欠如は、LLM における referents、意味、命題にいかに影響するのか。
• RQ4 理論的視点（例：Chomsky、カテゴリ化、アイコニシティ） は LLM の能力と限界をどのように照らし出すか。

主な発見

• LLMs は感覚運動経験での真の理解や grounding なしに印象的なタスクを遂行できる。
• 規模での収束偏りは、言語データの構造と分布、モデルのアーキテクチャから生じる可能性がある。
• 間接的な言語 grounding は直接的な感覚運動 grounding を利用して参照接続に影響を与えるように見える。
• 言語的定義の循環性と生成と理解の間のミラリングは、LLM の挙動に関連している。
• アイコニシティとカテゴリ学習の原理は LLM スケールの表現に対応する可能性があり、性能の部分的な説明を提供する。