[論文レビュー] A Sentence is Worth a Thousand Pictures: Can Large Language Models Understand Hum4n L4ngu4ge and the W0rld behind W0rds?

Evelina Leivada, Gary Marcus+2 more|arXiv (Cornell University)|Jul 26, 2023

Topic Modeling被引用数 11

ひとこと要約

本論文は、LLMs が理論的に有意義な表現を提供するのか、それとも単なる機械的な道具に過ぎないのかを評価し、新奇の leet タスクを用いて言語を現実世界の経験に基づいてグラウンディングできる能力を検証し、人間がモデルを上回ることを示している。

ABSTRACT

Modern Artificial Intelligence applications show great potential for language-related tasks that rely on next-word prediction. The current generation of Large Language Models (LLMs) have been linked to claims about human-like linguistic performance and their applications are hailed both as a step towards artificial general intelligence and as a major advance in understanding the cognitive, and even neural basis of human language. To assess these claims, first we analyze the contribution of LLMs as theoretically informative representations of a target cognitive system vs. atheoretical mechanistic tools. Second, we evaluate the models' ability to see the bigger picture, through top-down feedback from higher levels of processing, which requires grounding in previous expectations and past world experience. We hypothesize that since models lack grounded cognition, they cannot take advantage of these features and instead solely rely on fixed associations between represented words and word vectors. To assess this, we designed and ran a novel 'leet task' (l33t t4sk), which requires decoding sentences in which letters are systematically replaced by numbers. The results suggest that humans excel in this task whereas models struggle, confirming our hypothesis. We interpret the results by identifying the key abilities that are still missing from the current state of development of these models, which require solutions that go beyond increased system scaling.

研究の動機と目的

• LLMs が人間の認知を理論的に有意義な表現として提供するのか、それとも単なる機械的な道具に過ぎないのかを評価する。
• 言語理解における上向き処理（トップダウン処理）と事前経験によるグラウンディングの役割を調査する。
• 現在のモデルがグラウンデッド認知を活用できるか、あるいは固定語彙ベクトルの結びつきのみに依存するのかを検証する。

提案手法

• モデルが語の共起を超えた高次のグラウンディングと文脈にアクセスできるかどうかについて、LLMs を人間の認知と比較する。
• 意味を解読するために体系的な文字-to数字置換を用いて文をデコードする新規の leet タスクを設計・実行し、理解を探る。
• パラメータ拡張だけでは解決できない、現在のモデルに欠如する認知能力を特定するために結果を分析する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは人間の言語と認知の理論的に有意義な表現として機能できるのか、それとも主に非理論的な道具に過ぎないのか？
• RQ2 LLMs は言語理解において世界経験を活用するグラウンディングとトップダウン処理を示すのか？
• RQ3 破損した正書法の下で解読を要する課題で現在の LLM が人間を上回ることができるのか、それとも人間が優位を保つのか？
• RQ4 言語と世界知識のグラウンデッドな理解を妨げている LLM に欠けている主要な能力は何か？

主な発見

• 人間は leet タスクで卓越しており、モデルは苦戦している。これはモデルがグラウンデッド認知を欠いていることを示唆している。
• 結果は、グラウンディングとトップダウン処理を要する課題には固定語彙ベクトルの結びつきが不十分であることを示している。
• 発見は、モデルサイズを単純に大きくするだけでは対処できない LLM の欠如している能力を指摘している。
• 本研究は、グラウンデッドな言語理解を達成するにはスケーリングを超えた開発が必要であると解釈している。