[논문 리뷰] Evaluating Spatial Understanding of Large Language Models

Yutaro Yamada, Yihan Bao외 3명|arXiv (Cornell University)|2023. 10. 23.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 GPT-3.5-turbo, GPT-4, Llama2와 같은 대규모 언어모델(LLM)의 공간 이해 능력을 평가하기 위해 다양한 공간 구조—정사각형, 육각형, 삼각형 격자, 고리형, 나무 구조—에서 자연어 기반 탐색 작업을 설계한다. 연구 결과, LLM은 암묵적으로 공간 표현을 학습하며, 물체 이름을 랜드마크로 사용하고, 공간적 요인과 비공간적 요인 모두에 기인한 실수를 범하며, 다양한 구조와 입력 형식에 따라 성능이 크게 달라지는 것으로 나타났다.

ABSTRACT

Large language models (LLMs) show remarkable capabilities across a variety of tasks. Despite the models only seeing text in training, several recent studies suggest that LLM representations implicitly capture aspects of the underlying grounded concepts. Here, we explore LLM representations of a particularly salient kind of grounded knowledge -- spatial relationships. We design natural-language navigation tasks and evaluate the ability of LLMs, in particular GPT-3.5-turbo, GPT-4, and Llama2 series models, to represent and reason about spatial structures. These tasks reveal substantial variability in LLM performance across different spatial structures, including square, hexagonal, and triangular grids, rings, and trees. In extensive error analysis, we find that LLMs' mistakes reflect both spatial and non-spatial factors. These findings suggest that LLMs appear to capture certain aspects of spatial structure implicitly, but room for improvement remains.

연구 동기 및 목표

• 대규모 언어모델(LLM)이 텍스트 전용 훈련을 통해 암묵적으로 공간 구조를 학습하고 추론할 수 있는지 조사하기.
• LLM이 정사각형 격자, 고리형, 나무 구조 등 다양한 위상에서 공간 관계를 어떻게 표현하고 추론하는지 평가하기.
• 동일한 공간 추론 작업에서 인간 성능과의 비교를 통해 LLM의 성능 평가하기.
• LLM이 공간 지ap을 구성할 때 물체 이름을 랜드마크로 사용하는지 연구하기.
• 오류의 세부 분석을 통해 실수 원인이 공간적 요인인지 비공간적 요인인지 규명하기.

제안 방법

• 모델이 위치 간 순차적 이동 정보에서 공간 관계를 추론해야 하는 자연어 기반 탐색 작업 설계.
• 전체 지도 또는 국소적 탐색 지시문을 제시하여 입력 형식의 영향 평가.
• 각 위치에서 ImageNet-1k의 물체 이름을 사용해 감각적 신호를 제공하여 지능형 인식를 시뮬레이션.
• 루프 클로처와 경로 일관성을 테스트하는 합성 질문 생성 — 정확한 공간 기억 필요.
• GPT-3.5-turbo, GPT-4, Llama2 등 여러 LLM을 다양한 공간 위상에서 평가.
• 사슬형 사고 프롬프팅을 적용하여 공간 추론 성능에 미치는 영향 분석.

실험 결과

연구 질문

• RQ1 LLM은 텍스트 전용 입력에서 정사각형 격자, 고리형, 나무 구조와 같은 공간 구조를 암묵적으로 학습하고 추론할 수 있는가?
• RQ2 다양한 공간 위상(예: 정사각형 격자 대비 육각형 격자) 간 성능은 어떻게 달라지는가?
• RQ3 초기 단계에서 전체 지도를 제시하는 것이 국소적 탐색 지시문 대비 LLM의 공간 추론 능력에 도움이 되는가, 아니면 방해가 되는가?
• RQ4 LLM은 인간과 유사하게 물체 이름을 랜드마크로 사용하여 공간 지도를 구성하는가?
• RQ5 LLM이 범하는 실수의 유형은 무엇이며, 이러한 실수는 공간적 요인인지 비공간적 요인인지 반영하는가?

주요 결과

• LLM은 루프 클로저와 경로 일관성에 관한 질문을 정확히 답변함으로써 암묵적인 공간 이해 능력을 보여줌.
• 성능은 공간 위상에 따라 크게 달라지며, 정사각형 격자가 육각형, 삼각형, 고리형, 나무 구조보다 더 쉽게 처리됨.
• 초기 전체 지도 제시가 국소적 탐색 지시문 대비 성능을 떨어뜨림을 확인 — 순차적 입력이 공간 추론에 유리함.
• LLM은 인간의 인지 전략과 유사하게 물체 이름을 랜드마크로 사용하여 공간 지도를 구성함.
• 오류 패턴은 공간적 근접성을 반영함 — 모델이 공간 구조를 추론하지만, 동시에 비공간적 요인도 실수 원인이 됨.
• GPT-4는 GPT-3.5-turbo보다 성능이 뛰어나며, 특히 복잡한 구조에서 더 깊은 암묵적 공간 표현을 보임 — 비록 성능은 완벽하지 않음.