[논문 리뷰] Meaning without reference in large language models

Steven T. Piantadosi, Felix Hill|arXiv (Cornell University)|2022. 08. 05.

Topic Modeling인용 수 71

한 줄 요약

본 논문은 LLM이 표현 간의 내부 관계를 통해 의미 있는 개념적 역할을 획득할 수 있으며, 명시적 참조의 기본 grounding이 없어도 가능하다고 주장하고, 이것이 의미의 개념적 역할 이론과 어떻게 정합하는지 개략적으로 제시한다.

ABSTRACT

The widespread success of large language models (LLMs) has been met with skepticism that they possess anything like human concepts or meanings. Contrary to claims that LLMs possess no meaning whatsoever, we argue that they likely capture important aspects of meaning, and moreover work in a way that approximates a compelling account of human cognition in which meaning arises from conceptual role. Because conceptual role is defined by the relationships between internal representational states, meaning cannot be determined from a model's architecture, training data, or objective function, but only by examination of how its internal states relate to each other. This approach may clarify why and how LLMs are so successful and suggest how they can be made more human-like.

연구 동기 및 목표

• LLM에서의 의미가 참조만이 아닌 개념적 역할에서 비롯될 수 있음을 주장한다.
• LLM 의미론을 이해하는 프레임워크로서 개념적 역할 이론을 제시한다.
• LLM의 내부 표현이 인간과 유사한 의미 및 인지와 관련이 있음을 보여주는 증거를 요약한다.

제안 방법

• 개의 의미 이론(개념적 역할)과 참조에 관한 철학적·인지적 이론을 논의한다.
• LLM의 표현 기하학과 인간 데이터 및 grounding 사이의 실증적 증거를 검토한다.
• LLM의 내부 상태 간의 관계가 인간 개념에 비견될 만큼 의미 있는 구조를 부호화한다고 주장한다.
• LLM을 개선하는 것은 내부 개념적 역할과 관계 구조를 풍부하게 하는 것을 포함한다고 제안한다.

실험 결과

연구 질문

• RQ1 내부 상태가 관계 구조를 부호화하고 실제로 grounded reference가 아닌 경우, LLM은 의미 있는 개념을 보유하는가?
• RQ2 LLM의 내부 표현이 인간의 의미 관계와 개념적 역할을 어느 정도 반영하는가?
• RQ3 텍스트를 예측하는 훈련이 관계 기하학과 임베딩을 통해 개념적 역할의 발견을 촉진하는가?
• RQ4 접지, 다중 모달 입력, 목표 지향적 계획이 LLM 의미의 풍부성에 어떤 영향을 미칠 수 있는가?

주요 결과

• LLM은 인간 의미 구조와 일치하는 관계 기하학과 임베딩을 보인다.
• LLM의 내부 상태 간의 관계는 출현하는 의미와 개념의 일관된 사용을 뒷받침한다.
• 대규모 텍스트 데이터로 학습된 모델이 개념적 역할의 측면을 포착한다는 실증적 증거가 있다.
• 접지와 다중 모달 입력은 인간 판단과의 정합성을 향상시키지만 의미에 필수적이지는 않다.
• 텍스트 기반 학습이 인간 개념에 유사한 개념적 역할을 드러낼 수 있다는 부분적 실증적 증거가 있다.