[論文レビュー] Evaluating Spatial Understanding of Large Language Models

Yutaro Yamada, Yihan Bao+3 more|arXiv (Cornell University)|Oct 23, 2023

Topic Modeling被引用数 6

ひとこと要約

この論文は、GPT-3.5-turbo、GPT-4、Llama2などの大規模言語モデル（LLMs）の空間理解を、正方形、六角形、三角形グリッド、輪郭、木構造など多様な空間構造を含む自然言語ナビゲーションタスクを通じて評価している。研究では、LLMsが空間表現を内蔵的に学習し、オブジェクト名をランドマークとして使用し、空間的および非空間的要因に起因する誤りを示すことが明らかになった。性能は構造や入力形式によって顕著に異なる。

ABSTRACT

Large language models (LLMs) show remarkable capabilities across a variety of tasks. Despite the models only seeing text in training, several recent studies suggest that LLM representations implicitly capture aspects of the underlying grounded concepts. Here, we explore LLM representations of a particularly salient kind of grounded knowledge -- spatial relationships. We design natural-language navigation tasks and evaluate the ability of LLMs, in particular GPT-3.5-turbo, GPT-4, and Llama2 series models, to represent and reason about spatial structures. These tasks reveal substantial variability in LLM performance across different spatial structures, including square, hexagonal, and triangular grids, rings, and trees. In extensive error analysis, we find that LLMs' mistakes reflect both spatial and non-spatial factors. These findings suggest that LLMs appear to capture certain aspects of spatial structure implicitly, but room for improvement remains.

研究の動機と目的

• 大規模言語モデル（LLMs）がテキストのみの学習から空間構造を内蔵的に学習・推論できるかどうかを調査すること。
• グリッド、輪郭、木構造などの多様なトポロジーにおける空間的関係の表現と推論方法を評価すること。
• 同じ空間的推論タスクにおいて、LLMsの性能を人的な性能と比較すること。
• オブジェクト名がLLMsの空間マップ構築においてランドマークとして果たす役割を検討すること。
• 誤りの詳細な分析を通じて、誤りが空間的要因か非空間的要因に起因するかを特定すること。

提案手法

• モデルが場所間の逐次的遷移から空間的関係を推論する必要がある自然言語ナビゲーションタスクを設計する。
• グローバルマップまたはローカルナビゲーション指示を提示することで、入力形式の影響を評価する。
• 各場所にImageNet-1kのオブジェクト名を提示信号として用い、接地された知覚を模擬する。
• ループクロージャーと経路整合性をテストする合成質問を生成し、正確な空間的記憶を要する。
• GPT-3.5-turbo、GPT-4、Llama2のバリエーションを含む複数のLLMsを、さまざまな空間トポロジーで評価する。
• チェーン・オブ・トゥーク（Chain-of-Thought）プロンプティングを適用し、空間的推論性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、テキストのみの入力からグリッド、輪郭、木構造などの空間構造を内蔵的に学習・推論できるか？
• RQ2 性能は、例えば正方形グリッドと六角形グリッドの間でどのように変動するか？
• RQ3 グローバルマップを事前に提示することで、ローカルナビゲーション指示と比較してLLMsの空間的推論は向上するか、あるいは悪化するか？
• RQ4 LLMsは、人間と同様に、オブジェクト名をランドマークとして使用して空間マップを構築するか？
• RQ5 LLMsが犯す誤りの種類は何か？ これらの誤りは空間的要因か非空間的要因に起因するか？

主な発見

• LLMsは内蔵的な空間的理解を示し、空間構造におけるループクロージャーと経路整合性に関する質問に対して正しく回答している。
• 性能は空間的トポロジーによって顕著に異なる。正方形グリッドは六角形、三角形、輪郭、木構造よりも容易である。
• グローバルマップを事前に提示すると、ローカルナビゲーション指示と比較して性能が低下する。これは、逐次的入力が空間的推論を支援することを示唆している。
• LLMsはオブジェクト名をランドマークとして使用して空間マップを構築しており、人間の認知戦略を模倣している。
• 誤りのパターンは空間的近接性を反映しており、モデルが空間的構造を推論しているが、誤りは非空間的要因にも起因している。
• GPT-4はGPT-3.5-turboを上回り、特に複雑な構造において顕著に優れている。これは、より深い内蔵的な空間的表現を有している可能性を示唆しているが、性能は依然として不完全である。