[論文レビュー] Large Language Models: Testing Their Capabilities to Understand and Explain Spatial Concepts (Short Paper)

Chaoyou Fu, Peixian Chen|arXiv (Cornell University)|Jun 23, 2023

Topic Modeling被引用数 88

ひとこと要約

本稿では、14の知覚および認知タスクをカバーする、マルチモーダル大規模言語モデル（MLLM）を評価するための包括的ベンチマークMMEを紹介する。手作業で選別された明確で簡潔な指示を用いることで、公平な比較とデータ漏洩の回避を図り、GPT-4V や Lion でさえも、特にオブジェクトの位置理解や厳密な指示従いの下での推論において、依然として大幅な改善余地があることが明らかになった。

ABSTRACT

Interest in applying Large Language Models (LLMs), which use natural language processing (NLP) to provide human-like responses to text-based questions, to geospatial tasks has grown rapidly. Research shows that LLMs can help generate software code and answer some types of geographic questions to varying degrees even without fine-tuning. However, further research is required to explore the types of spatial questions they answer correctly, their abilities to apply spatial reasoning, and the variability between models. In this paper we examine the ability of four LLM models (GPT3.5 and 4, LLAma2.0, Falcon40B) to answer spatial questions that range from basic calculations to more advanced geographic concepts. The intent of this comparison is twofold. First, we demonstrate an extensible method for evaluating LLM’s limitations to supporting spatial data science through correct calculations and code generation. Relatedly, we also consider how these models can aid geospatial learning by providing text-based explanations of spatial concepts and operations. Our research shows common strengths in more basic types of questions, and mixed results for questions relating to more advanced spatial concepts. These results provide insights that may be used to inform strategies for testing and fine-tuning these models to increase their understanding of key spatial concepts.

研究の動機と目的

• マルチモーダル大規模言語モデル（MLLM）を評価するための包括的で、公平かつ定量的に分析可能なベンチマークの欠如を解消すること。
• 既存の評価手法の限界、すなわち公開データセットからのデータ漏洩、一貫性のない指示設計、オープンエンドまたは主観的なスコアリングに依存する問題を克服すること。
• MLLMの知覚および認知能力を、統一的で標準的かつ再現可能なかたちで評価すること。
• 指示への従わない行動、知覚エラー、推論失敗、オブジェクトの幻覚といった、継続的なモデルの弱みを特定すること。

提案手法

• 知覚（例：存在、数え上げ、位置、色）および認知（例：常識的推論、数値計算、コード推論）をカバーする14のサブタスクを有する新しいベンチマークMMEを設計。
• 訓練データからのデータ漏洩を防ぐために、すべての指示-回答ペアを手作業で作成し、評価の整合性を確保。
• モデル間の公平な比較を可能にするために、標準的で簡潔な指示形式（「はいまたはいいえで答えください」）を採用し、プロンプト工学のバイアスを低減。
• すべての質問に対して2値分類形式（はい／いいえ）を採用することで、モデルのパフォーマンスを直接的かつ定量的な統計解析が可能に。
• 30種類の先進的MLLMを、ベンチマーク全体に対して評価し、能力を評価し、失敗パターンを同定。
• 定性的な事例研究を通じてモデルの行動を分析し、幻覚、不整合、推論の崩壊といった繰り返し発生する問題を同定。

実験結果

リサーチクエスチョン

• RQ1 標準的で公平な評価環境下で、現在のMLLMは知覚および認知タスクの広範なスケールにおいて、どの程度のパフォーマンスを示すか？
• RQ2 MLLMは、単純で簡潔な指示をどの程度正しく従うのか？ その影響はパフォーマンスにどのように現れるか？
• RQ3 制御された手作業によるアノテーションのもとで、知覚および推論評価においてMLLMが示す代表的な失敗モードは何か？
• RQ4 ランドマークや芸術作品の認識など、微細な視覚的理解を要するタスクにおいて、異なるMLLMはどのように比較されるか？
• RQ5 統一的で手作業で選別されたベンチマークは、一貫性のある定量的パフォーマンスギャップを明らかにでき、今後のモデル最適化を導くことができるか？

主な発見

• GPT-4Vは知覚分野で最高得点（2000点中1621.66点）を記録し、認知分野でも1位を獲得したが、人物に関する質問に対して拒否するため、有名人認識タスクでは0点となった。
• 知覚分野ではWeMM、InfMLLM、SPHINXが上位3位を占め、認知分野ではGPT-4V、Lion、WeMMが上位を占め、GPT-4Vはコード推論（200点中170点）および常識的推論（200点中142.14点）で顕著な優位性を示した。
• オブジェクトの位置認識が最も弱いサブタスクであり、空間的配置への感受性が低く、空間理解における主要な限界を示している。
• 多数のモデルが単純な「はいまたはいいえ」の指示に従わず、自由形式の回答を生成する傾向があるため、信頼性と評価の公平性が損なわれる。
• オブジェクトの幻覚は広範に見られる問題であり、存在しないオブジェクトについての質問に対し、モデルは頻繁に「はい」と回答し、その場合の正確性は約50％にとどまり、正確性＋はほぼ0％に近い。
• 知覚パフォーマンスは、わずかな指示の変更に極めて敏感である—たった1語の変更ですら、矛盾した応答を引き起こすことがある—視覚的根拠の不安定性を示している。