[論文レビュー] The Vector Grounding Problem

Dimitri Coelho Mollo, Raphaël Millière|arXiv (Cornell University)|Apr 4, 2023

Language and cultural evolution被引用数 35

ひとこと要約

本論文は五つの grounding notions を区別し、参照的 grounding がベクトル grounding の問題の根底にあると主張し、RLHF によって強化されたLLM は多模態性や embodiment を要求せずに意味を grounding できると主張する。

ABSTRACT

Large language models (LLMs) produce seemingly meaningful outputs, yet they are trained on text alone without direct interaction with the world. This leads to a modern variant of the classical symbol grounding problem in AI: can LLMs' internal states and outputs be about extra-linguistic reality, independently of the meaning human interpreters project onto them? We argue that they can. We first distinguish referential grounding -- the connection between a representation and its worldly referent -- from other forms of grounding and argue it is the only kind essential to solving the problem. We contend that referential grounding is achieved when a system's internal states satisfy two conditions derived from teleosemantic theories of representation: (1) they stand in appropriate causal-informational relations to the world, and (2) they have a history of selection that has endowed them with the function of carrying this information. We argue that LLMs can meet both conditions, even without multimodality or embodiment.

研究の動機と目的

• 内部表現が生物学的または人工的システムにおいてどのように grounding され得るかを区別する。
• 五つの grounding の概念を特定し、どれがベクトル grounding 問題の中心であるかを明確にする。
• RLHF により強化された LLM が grounding のために世界との因果史的関係を持つことを主張する。
• 参照的 grounding のために多模態性や embodiment が必要不可欠または十分条件かを評価する。

提案手法

• 参照的、感覚運動的、関係的、コミュニケーション的、認識論的という五つの grounding の概念を網羅的に調査し定義する。
• 古典的AIにおける Symbol Grounding Problem を説明し、LLMs のベクトルベースの設定に翻訳する。
• LLMs における grounding の課題を直感的に捉えるための Octopus Test を紹介する。
• LLMs の grounding には参照的 grounding が不可欠であると主張し、RLHF およびインコンテキスト学習がどのように寄与するかを論じる。
• 人工システムにおける grounding のために多模態性や embodiment が必要条件または十分条件かを評価する。

Figure 1: Five notions of grounding. A. Referential grounding : a lexical representation ( <DOG> ) is connected to its worldly referent (a dog). B. Sensorimotor grounding : a lexical representation ( <DOG> ) is connected to a sensory representation (image of a dog). C. Relational grounding : a lexic

実験結果

リサーチクエスチョン

• RQ1 grounding の異なる概念は何か、そしてそれらのうちどれが LLMs の内部表現を grounding するうえで中心となるのか？
• RQ2 大規模事前学習モデルは、特に RLHF やインコンテキスト学習を通じて grounding 機構によって内在的意味を達成できるか？
• RQ3 人工システムにおける参照的 grounding に多模態性や embodiment は必要か？

主な発見

• LLMs は Symbol Grounding Problem のベクトルベースの類推に直面しており、したがって grounding の検討が必要である。
• 参照的 grounding が LLMs の grounding の中心的概念として特定され、内部表現を世界の Referents に結びつける。
• RLHF およびインコンテキスト学習は、 grounding に必要な世界との因果史的関係を確立できる特徴を提供する。
• 多模態性と embodiment は、人工システムの参照的 grounding にとって必要条件でも十分条件でもないと主張される。
• 本論文は grounded な内部状態がより広い認知能力にとって重要であり得ることを強調するが、それ自体が理解や意図性を十分に保証するものではない。

Figure 2: Sensorigraph and S-model. Left: the sensorigraph records the host’s sensory input and motor input over a lifetime. Right: an autoregressive S-model is trained on sensorigraph data by predicting the embedding for the next timestep in the sensorimotor stream sequence.