[논문 리뷰] Language Writ Large: LLMs, ChatGPT, Grounding, Meaning and Understanding

Stevan Harnad|arXiv (Cornell University)|2024. 02. 03.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

본 논문은 LLMs가 ChatGPT와 같은 모델이 진정으로 이해하지 않는다고 주장하며, LLM 규모에서의 무해한 편향, 접지의 격차, 간접적 언어적 접지, 순환성 및 기타 요인이 그들의 능력을 어떻게 형성하는지에 대한 직관적 가설을 제시하고, ChatGPT-4와의 대화 형식으로 프레이밍한다.

ABSTRACT

Apart from what (little) OpenAI may be concealing from us, we all know (roughly) how ChatGPT works (its huge text database, its statistics, its vector representations, and their huge number of parameters, its next-word training, and so on). But none of us can say (hand on heart) that we are not surprised by what ChatGPT has proved to be able to do with these resources. This has even driven some of us to conclude that ChatGPT actually understands. It is not true that it understands. But it is also not true that we understand how it can do what it can do. I will suggest some hunches about benign biases: convergent constraints that emerge at LLM scale that may be helping ChatGPT do so much better than we would have expected. These biases are inherent in the nature of language itself, at LLM scale, and they are closely linked to what it is that ChatGPT lacks, which is direct sensorimotor grounding to connect its words to their referents and its propositions to their meanings. These convergent biases are related to (1) the parasitism of indirect verbal grounding on direct sensorimotor grounding, (2) the circularity of verbal definition, (3) the mirroring of language production and comprehension, (4) iconicity in propositions at LLM scale, (5) computational counterparts of human categorical perception in category learning by neural nets, and perhaps also (6) a conjecture by Chomsky about the laws of thought. The exposition will be in the form of a dialogue with ChatGPT-4.

연구 동기 및 목표

• ChatGPT-와 유사한 LLM이 진정한 이해나 의미를 가지는지 평가한다.
• LLM 규모에서 나타나는 수렴 편향을 식별하고 이들이 성능에 미치는 영향을 분석한다.
• 직접적인 센서-운동 접지의 부재가 지시대상과 명제에 어떤 영향을 미치는지 검토한다.
• 대형 언어 모델의 접지, 정의, 표현에 관한 가설을 제시한다.

제안 방법

• 주제를 탐구하기 위해 ChatGPT-4와의 대화를 제시한다.
• LLM 규모에서 나타날 수 있는 수렴 편향의 집합을 논의한다.
• 간접적 언어적 접지, 정의의 순환성, 지각적 범주화 간의 연관성을 개요한다.
• 주장을 접지 이론 및 언어 이해의 더 넓은 이론들과 연결한다.

실험 결과

연구 질문

• RQ1 ChatGPT- 스타일의 LLM이 자신의 산출물의 의미를 진정으로 이해하는가?
• RQ2 LLM 규모에서 어떤 수렴 편향이 성능을 향상시키거나 제한하는가?
• RQ3 직접적인 센서-운동 접지의 부재가 LLM에서의 지시대상, 의미, 명제에 어떤 영향을 미치는가?
• RQ4 목록에 있는 이론적 관점(예: 촘스키, 범주화, 아이코니시티)이 LLM의 능력과 한계를 어떻게 조명하는가?

주요 결과

• LLMs는 감각-운동 경험에서의 진정한 이해나 접지 없이도 인상적인 작업을 수행할 수 있다.
• 규모의 수렴 편향은 언어 데이터의 구조와 분포 및 모델 아키텍처에서 비롯될 수 있다.
• 간접적 언어적 접지는 직접적 센서-운동 접지를 잠식하는 것으로 보이며, 지시적 연결에 영향을 미친다.
• 생성과 이해 사이의 언어적 정의의 순환성 및 상호 반영은 LLM 행동에 관련이 있다.
• 아이코닉성 및 범주 학습 원리는 LLM 규모 표현과 대응될 수 있으며, 성능에 대한 부분적 설명을 제공한다.