[논문 리뷰] The Vector Grounding Problem

Dimitri Coelho Mollo, Raphaël Millière|arXiv (Cornell University)|2023. 04. 04.

Language and cultural evolution인용 수 35

한 줄 요약

본 논문은 다섯 가지 접지(grounding) 개념을 구분하고, 참조적 접지가 벡터 접지 문제의 기초가 됨을 주장하며, RLHF로 작동하는 LLM이 다중모달리티나 구현 없이도 의미를 접지할 수 있다고 주장한다.

ABSTRACT

Large language models (LLMs) produce seemingly meaningful outputs, yet they are trained on text alone without direct interaction with the world. This leads to a modern variant of the classical symbol grounding problem in AI: can LLMs' internal states and outputs be about extra-linguistic reality, independently of the meaning human interpreters project onto them? We argue that they can. We first distinguish referential grounding -- the connection between a representation and its worldly referent -- from other forms of grounding and argue it is the only kind essential to solving the problem. We contend that referential grounding is achieved when a system's internal states satisfy two conditions derived from teleosemantic theories of representation: (1) they stand in appropriate causal-informational relations to the world, and (2) they have a history of selection that has endowed them with the function of carrying this information. We argue that LLMs can meet both conditions, even without multimodality or embodiment.

연구 동기 및 목표

• 생물학적 또는 인공 시스템에서 내부 표현이 어떻게 접지될 수 있는지 차이를 보인다.
• 다섯 가지 접지 개념을 식별하고 벡터 접지 문제의 중심이 되는 개념을 명확히 한다.
• RLHF-가 적용된 LLM이 세계와의 인과적-역사적 관계를 갖고 있어 접지에 필요한 조건을 충족하는지 주장한다.
• 인공 시스템에서 참조적 접지가 다중모달리티나 구현이 필요하거나 충분한지 평가한다.

제안 방법

• 다섯 가지 접지 개념을 조사하고 정의한다: 참조적, 센서모터, 관계적, 의사소통적, 인과적-역사적.
• 고전 AI의 기호 접지 문제를 설명하고 이를 LLM의 벡터 기반 설정에 번역한다.
• LLMs의 접지 도전과제를 위한 직관적 모형으로 Octopus Test를 도입한다.
• 참조적 접지가 LLM의 접지에 필수적임을 논의하고 RLHF와 컨텍스트 학습이 어떻게 기여하는지 설명한다.
• 인공 시스템에서 다중모달리티와 구현이 접지에 필요하거나 충분한지 평가한다.

Figure 1: Five notions of grounding. A. Referential grounding : a lexical representation ( <DOG> ) is connected to its worldly referent (a dog). B. Sensorimotor grounding : a lexical representation ( <DOG> ) is connected to a sensory representation (image of a dog). C. Relational grounding : a lexic

실험 결과

연구 질문

• RQ1 다양한 접지 개념은 무엇이며, LLM의 내부 표현의 접지에서 어떤 것이 중심인가?
• RQ2 특히 RLHF와 컨텍스트 학습을 통해 큰 사전학습 모델이 내재적 의미를 접지 메커니즘으로 성취할 수 있는가?
• RQ3 참조적 접지를 인공 시스템에서 달성하려면 다중모달리티와 구현이 필요한가?

주요 결과

• LLMs는 기호 접지 문제의 벡터 기반 아날로그에 직면하므로 접지 고려가 필요하다.
• 참조적 접지가 LLM에서 접지의 중심 개념으로 확인되며, 내부 표현을 세계의 Referents와 연결한다.
• RLHF와 컨텍스트 학습은 세계와의 필요한 인과적-역사적 관계를 구축하는 기능을 제공하여 접지에 기여한다.
• 다중모달리티와 구현은 인공 시스템의 참조적 접지에 필요하거나 충분한 조건이 아니라고 주장된다.
• 논문은 접지된 내부 상태가 더 넓은 인지 능력에 중요할 수는 있지만, 이해나 행동 주체성에 단독으로 충분하지는 않다고 강조한다.

Figure 2: Sensorigraph and S-model. Left: the sensorigraph records the host’s sensory input and motor input over a lifetime. Right: an autoregressive S-model is trained on sensorigraph data by predicting the embedding for the next timestep in the sensorimotor stream sequence.