[论文解读] Evaluating Large Language Models on Spatial Tasks: A Multi-Task Benchmarking Study

Liuchang Xu, Shuo Zhao+7 more|arXiv (Cornell University)|Aug 26, 2024

Geographic Information Systems Studies被引用 4

一句话总结

本研究提出了一项新颖的多任务基准，用于评估大语言模型（LLMs）在空间推理任务上的表现，涵盖12种空间任务类型，并配有经验证的答案。研究采用零样本和提示调优策略评估了GPT-4o和Moonshot-v1-8k等模型，结果表明，思维链（Chain-of-Thought）提示方法使GPT-4o在路径规划任务中的准确率从12.4%提升至87.5%，凸显了提示工程在空间推理性能中的关键作用。

ABSTRACT

The emergence of large language models such as ChatGPT, Gemini, and others highlights the importance of evaluating their diverse capabilities, ranging from natural language understanding to code generation. However, their performance on spatial tasks has not been thoroughly assessed. This study addresses this gap by introducing a new multi-task spatial evaluation dataset designed to systematically explore and compare the performance of several advanced models on spatial tasks. The dataset includes twelve distinct task types, such as spatial understanding and simple route planning, each with verified and accurate answers. We evaluated multiple models, including OpenAI's gpt-3.5-turbo, gpt-4-turbo, gpt-4o, ZhipuAI's glm-4, Anthropic's claude-3-sonnet-20240229, and MoonShot's moonshot-v1-8k, using a two-phase testing approach. First, we conducted zero-shot testing. Then, we categorized the dataset by difficulty and performed prompt-tuning tests. Results show that gpt-4o achieved the highest overall accuracy in the first phase, with an average of 71.3%. Although moonshot-v1-8k slightly underperformed overall, it outperformed gpt-4o in place name recognition tasks. The study also highlights the impact of prompt strategies on model performance in specific tasks. For instance, the Chain-of-Thought (CoT) strategy increased gpt-4o's accuracy in simple route planning from 12.4% to 87.5%, while a one-shot strategy improved moonshot-v1-8k's accuracy in mapping tasks from 10.1% to 76.3%.

研究动机与目标

• 为解决当前缺乏对LLMs在空间推理任务上系统性评估的问题。
• 开发一个全面的、多任务的基准，包含经验证的真实答案，以评估空间能力。
• 在多样化空间任务中，对比领先LLMs（如GPT-3.5-turbo、GPT-4o和Moonshot-v1-8k）的性能表现。
• 探究提示工程策略（包括思维链和少样本提示）对模型性能的影响。
• 为当前LLMs在地理空间理解与推理方面的优势与局限提供洞见。

提出的方法

• 本研究构建了一个包含12种不同空间推理任务类型的多任务空间基准，每项任务均配有经人工验证的真实答案。
• 采用两阶段测试协议对模型进行评估：首先进行零样本测试，随后基于任务难度分类并应用提示调优。
• 系统性地应用提示工程技术，如思维链（Chain-of-Thought, CoT）和少样本提示，以评估其对性能的影响。
• 通过所有12项任务的特定准确率指标衡量模型性能。
• 根据任务难度对模型进行分类，以分析在不同复杂度水平下的性能趋势。
• 评估涵盖最先进的LLMs，如GPT-4o、GPT-3.5-turbo、Moonshot-v1-8k和GLM-4，支持跨模型比较。

实验结果

研究问题

• RQ1 在未进行微调的情况下，领先的大语言模型在多样化空间推理任务上的表现如何？
• RQ2 提示工程策略（如思维链）在复杂空间任务（如路径规划）中能多大程度上提升LLM的性能？
• RQ3 在多任务基准中，哪一LLM展现出最高的整体准确率？
• RQ4 模型性能在不同任务难度层级上如何变化？
• RQ5 是否存在某些特定空间任务（如地名识别或制图）中，某些模型表现优于其他模型？

主要发现

• GPT-4o在零样本评估阶段取得了最高的整体准确率，所有任务的平均准确率为71.3%。
• Moonshot-v1-8k整体表现欠佳，但在地名识别任务中表现优于GPT-4o，显示出其在特定任务上的优势。
• 思维链提示使GPT-4o在路径规划任务中的准确率从12.4%大幅提升至87.5%，表明提示工程可显著提升性能。
• 少样本提示使Moonshot-v1-8k在制图任务中的准确率从10.1%提升至76.3%，凸显了少样本策略在特定领域中的有效性。
• 本研究证实，提示工程策略显著影响模型性能，尤其在复杂推理任务中表现突出。
• 不同任务类型之间的性能差异显著，其中路径规划和空间推理任务从高级提示技术中获得了最大性能提升。