[论文解读] Large Language Models: Testing Their Capabilities to Understand and Explain Spatial Concepts (Short Paper)

Chaoyou Fu, Peixian Chen|arXiv (Cornell University)|Jun 23, 2023

Topic Modeling被引用 88

一句话总结

本文提出了MME，这是首个针对多模态大语言模型（MLLMs）在14项感知与认知任务上进行全面评估的基准。该基准采用人工精心设计的简洁指令，确保公平比较并避免数据泄露。MME揭示，即使是最先进的模型如GPT-4V和Lion，在对象位置理解与严格遵循指令的推理方面仍存在显著改进空间。

ABSTRACT

Interest in applying Large Language Models (LLMs), which use natural language processing (NLP) to provide human-like responses to text-based questions, to geospatial tasks has grown rapidly. Research shows that LLMs can help generate software code and answer some types of geographic questions to varying degrees even without fine-tuning. However, further research is required to explore the types of spatial questions they answer correctly, their abilities to apply spatial reasoning, and the variability between models. In this paper we examine the ability of four LLM models (GPT3.5 and 4, LLAma2.0, Falcon40B) to answer spatial questions that range from basic calculations to more advanced geographic concepts. The intent of this comparison is twofold. First, we demonstrate an extensible method for evaluating LLM’s limitations to supporting spatial data science through correct calculations and code generation. Relatedly, we also consider how these models can aid geospatial learning by providing text-based explanations of spatial concepts and operations. Our research shows common strengths in more basic types of questions, and mixed results for questions relating to more advanced spatial concepts. These results provide insights that may be used to inform strategies for testing and fine-tuning these models to increase their understanding of key spatial concepts.

研究动机与目标

• 为解决当前缺乏全面、公平且可定量分析的多模态大语言模型（MLLMs）评估基准的问题。
• 克服现有评估方法的局限性，包括来自公开数据集的数据泄露、指令设计不一致，以及对开放式或主观评分的依赖。
• 以统一、标准化且可复现的方式评估MLLMs的感知与认知能力。
• 识别持续存在的模型弱点，如指令不遵守、感知错误、推理失败以及对象幻觉。

提出的方法

• 设计一个新的基准MME，包含14个子任务，涵盖感知（如存在性、计数、位置、颜色）与认知（如常识推理、数值计算、代码推理）。
• 所有指令-答案对均由人工创建，以防止训练数据中的数据泄露，确保评估的完整性。
• 采用标准化、简洁的指令格式（如“请回答是或否”），以实现模型间的公平比较，并减少提示工程带来的偏差。
• 所有问题均采用二分类格式（是/否），以支持对模型性能的直接、定量统计分析。
• 在完整基准上评估30个先进的MLLMs，以评估其能力并识别失败模式。
• 通过定性案例研究分析模型行为，识别反复出现的问题，如幻觉、对齐偏差和推理崩溃。

实验结果

研究问题

• RQ1 在标准化、公平的评估环境中，当前MLLMs在广泛感知与认知任务上的表现如何？
• RQ2 MLLMs在遵循简单、简洁指令方面的程度如何，这对其性能有何影响？
• RQ3 在受控、人工标注的条件下，MLLMs在感知与推理任务中的常见失败模式是什么？
• RQ4 在需要细致视觉理解的任务中，如地标或艺术品识别，不同MLLMs的表现如何比较？
• RQ5 一个统一的、人工精心整理的基准能否揭示一致且可量化的性能差距，并指导未来模型优化？

主要发现

• GPT-4V在感知任务中总分最高（1621.66/2000），在认知任务中排名第一，但在涉及人物识别的问题上拒绝回答，导致名人识别任务得分为零。
• WeMM、InfMLLM和SPHINX在感知任务中位列前三，而GPT-4V、Lion和WeMM在认知任务中领先，其中GPT-4V在代码推理（170/200）和常识推理（142.14/200）方面表现尤为突出。
• 对象位置识别是表现最弱的子任务，模型对空间布局的敏感度较差，表明其在空间理解方面存在关键局限。
• 大量模型无法遵循简单的“是或否”指令，常生成自由格式的回答，这严重损害了可靠性与评估的公平性。
• 对象幻觉是一个普遍问题：模型经常对不存在的对象回答“是”，导致此类问题的准确率约为50%，而准确率+接近零。
• 感知性能对指令的微小变化极为敏感——甚至一个词的改变即可导致矛盾响应，凸显视觉定位的不稳定性。