[논문 리뷰] Does Conceptual Representation Require Embodiment? Insights From Large Language Models

Qihui Xu, Yingying Peng외 4명|arXiv (Cornell University)|2023. 05. 30.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 연구는 언어만으로도 풍부한 개념적 표현을 지원할 수 있는지 여부를 탐구하기 위해 인간과 대규모 언어 모델(GPT-3.5 및 GPT-4)이 4,442개의 어휘 개념에 대해 감정, 긍정성, 정신적 시각화, 감각, 운동 경험의 다섯 차원에서 평가한 결과를 비교한다. 연구 결과, 비감각운동 영역에서는 LLM이 인간과 잘 일치하는 것으로 나타났지만, 감각 및 운동 영역에서는 다중모odal 훈련, 특히 GPT-4의 시각적 입력이 강화된 경우에 성능 향상이 두드러지게 나타나, 언어만으로는 부족하고 몸에 겪은 경험의 요소가 개념적 표현을 향상시킨다는 점을 시사한다.

ABSTRACT

To what extent can language alone give rise to complex concepts, or is embodied experience essential? Recent advancements in large language models (LLMs) offer fresh perspectives on this question. Although LLMs are trained on restricted modalities, they exhibit human-like performance in diverse psychological tasks. Our study compared representations of 4,442 lexical concepts between humans and ChatGPTs (GPT-3.5 and GPT-4) across multiple dimensions, including five key domains: emotion, salience, mental visualization, sensory, and motor experience. We identify two main findings: 1) Both models strongly align with human representations in non-sensorimotor domains but lag in sensory and motor areas, with GPT-4 outperforming GPT-3.5; 2) GPT-4's gains are associated with its additional visual learning, which also appears to benefit related dimensions like haptics and imageability. These results highlight the limitations of language in isolation, and that the integration of diverse modalities of inputs leads to a more human-like conceptual representation.

연구 동기 및 목표

• 언어만으로도 인간과 유사한 개념적 표현을 형성할 수 있는지, 아니면 몸에 겪은 감각적·운동적 경험의 요소가 필수적인지 탐구하는 것.
• GPT-3.5 및 GPT-4와 같은 대규모 언어 모델(LLM)이 다양한 심리언어학적 차원에서 인간의 개념적 표현을 어느 정도 모방할 수 있는지 평가하는 것.
• GPT-4의 시각적 입력과 같은 다중모달 훈련이 LLM이 생성하는 개념적 표현의 품질과 인간 유사성에 어떤 영향을 미치는지 평가하는 것.
• 이전 인간 기반 연구의 한계(작은 어휘 풀, 개념 커버리지의 국한)를 보완하기 위해 4,442개의 어휘로 구성된 대규모 다차원 데이터셋을 사용하는 것.
• 감정, 긍정성, 정신적 시각화, 감각, 운동 경험 영역에서 인간 평가와의 비교를 통해 LLM을 인지 모델로 검증하는 것.

제안 방법

• 감정, 긍정성, 정신적 시각화, 감각, 운동 경험의 다섯 심리언어학적 차원에서 4,442개의 일반 어휘 개념에 대해 글래스고 및 랭커스터 정규화에서 수집한 인간 평가를 확보하였다.
• 모델의 자아 지목을 방지하면서도 의미 일관성을 유지하기 위해 인간 경험을 나타내는 듯한 LLM 응답을 유도하기 위해 프롬프트를 수정하였으며, '당신'을 '인간'으로 대체하였다.
• 신체 부위 등의 시각 자극의 텍스트 기반 기술을 사용하여 GPT-3.5와 GPT-4가 인간 참가자들과 동일한 입력을 처리할 수 있도록 하였으며, GPT-3.5의 시각 입력 결여를 보완하였다.
• 인간-인간, 인간-LLM(GPT-3.5 및 GPT-4), LLM-LLM 쌍 간의 상관관계를 계산하여 각 차원에서의 일치도를 평가하였다.
• 신뢰할 수 있는 비교를 위해 50개 이상의 겹치는 어휘 평가를 기준으로 하여 다수의 참가자 쌍 및 모델 실행 결과의 상관관계 분포를 집계하여 신뢰성을 확보하였다.
• 특히 감각 및 운동 영역에서 GPT-3.5와 GPT-4 간의 일치도 차이를 분석하여 다중모달 훈련(특히 GPT-4의 시각적 훈련)이 개념적 표현에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 언어만으로도 대규모 언어 모델에서 인간과 유사한 개념적 표현을 얼마나 잘 지원할 수 있는가?
• RQ2 GPT-3.5와 같은 텍스트 중심 모델에 비해 GPT-4와 같은 다중모달 훈련(예: 시각적 입력)이 개념적 표현의 품질에 어떤 영향을 미치는가?
• RQ3 감정, 긍정성, 정신적 시각화, 감각, 운동 경험 중 어느 심리언어학적 차원에서 LLM이 인간의 표현과 가장 유사하게 일치하는가?
• RQ4 GPT-4에 통합된 시각적 입력은 시각 뿐 아니라 촉각 및 이미지성과 같은 관련 영역의 향상에도 기여하는가?
• RQ5 인간의 심리언어학적 정규화와 비교 검증된 LLM은 개념적 표현 연구를 위한 타당한 인지 모델로 활용될 수 있는가?

주요 결과

• GPT-4는 감각 및 운동 경험 영역에서 GPT-3.5보다 유의미하게 인간의 개념적 표현과 더 잘 일치한다.
• GPT-3.5와 GPT-4 모두 감각운동 영역 이외의 영역, 즉 감정 및 긍정성에서 인간과 강한 일치도를 보이며, 언어만으로도 추상적이고 정서적 개념 지식을 지원할 수 있음을 시사한다.
• GPT-3.5와 GPT-4 간의 감각 및 운동 영역에서의 성능 격차는 GPT-4의 추가적인 시각적 훈련과 직접적으로 관련되어 있으며, 이는 몸에 겪은 경험을 시뮬레이션하는 능력을 향상시킨다.
• GPT-4의 시각적 학습은 촉각 및 이미지성과 같은 관련 영역의 향상에도 기여하여, 다중모달 입력이 보다 통합적이고 인간 유사한 개념적 표현을 촉진함을 시사한다.
• 언어만으로는 풍부한 감각적·운동적 개념화가 부족하며, 몸에 겪은 경험의 역할이 전체 개념 이해를 형성하는 데 핵심적임을 확인하였다.
• 언어 훈련을 거친 LLM, 즉 GPT-3.5와 GPT-4는 인간 평가와 측정 가능한 일치도를 보이며, 신중한 프롬프트 설정과 검증을 거친 후에는 인지 모델로 활용할 수 있음을 입증하였다.