[论文解读] An Evaluation of ChatGPT-4's Qualitative Spatial Reasoning Capabilities in RCC-8

Anthony G. Cohn|arXiv (Cornell University)|Sep 27, 2023

Natural Language Processing Techniques被引用 5

一句话总结

本文评估了ChatGPT-4在使用RCC-8演算进行定性空间推理方面的能力，RCC-8演算是表示空间关系（如'分离'、'接触'和'部分'）的标准框架。尽管其训练数据中包含了大量QSR文献，但ChatGPT-4的表现不一致，频繁在组合任务中失败，并在反关系方面出现基本错误，表明其在正式空间推理任务中可靠性有限。

ABSTRACT

Qualitative Spatial Reasoning (QSR) is well explored area of Commonsense Reasoning and has multiple applications ranging from Geographical Information Systems to Robotics and Computer Vision. Recently many claims have been made for the capabilities of Large Language Models (LLMs). In this paper we investigate the extent to which one particular LLM can perform classical qualitative spatial reasoning tasks on the mereotopological calculus, RCC-8.

研究动机与目标

• 评估ChatGPT-4在使用RCC-8演算进行定性空间推理方面的能力程度。
• 评估其计算空间实体之间组合关系的能力，这是定性空间推理中的核心任务。
• 研究模型是否能正确推理RCC-8关系的概念邻域图。
• 识别其推理中的系统性弱点，特别是关于反关系和逻辑一致性方面。
• 确定模型的表现是源于对QSR文献的知识，还是源于无逻辑基础的随机生成。

提出的方法

• 本研究使用一系列受控的单轮对话，通过ChatGPT-4（2023年5月24日版本）测试其在RCC-8关系上的推理能力。
• 每个实验通过提示定义八个RCC-8关系（例如，DC、EC、PO、TPP、NTPP、EQ），并提供正式定义。
• 要求模型基于两个给定关系（例如，DC(x,y) 和 DC(y,z)）计算实体间可能的关系，模拟RCC-8演算中的组合。
• 评估响应的正确性、完整性和一致性，特别是关于反关系（例如，TPP与TPPi）的处理。
• 评估包括组合任务和概念邻域一致性检查，使用已知的组合表作为真实值。
• 所有对话均已归档，并可公开访问：https://tinyurl.com/qr23sup，以确保可复现性。

Figure 1: The eight relations of the RCC-8 calculus illustrated in 2D.

实验结果

研究问题

• RQ1 ChatGPT-4在多大程度上能正确计算两个RCC-8关系的组合？
• RQ2 当需要时，ChatGPT-4是否能一致地应用关系的反关系，例如区分TPP(x,y)与TPPi(x,y)？
• RQ3 即使正确答案已知，模型在组合任务中产生错误或不完整答案的频率如何？
• RQ4 模型能否正确识别组合表单元格中的所有可能关系，还是经常遗漏有效选项？
• RQ5 随着提示复杂度或上下文丰富度的提高，模型的表现是否会改善，还是其根本上仍不一致？

主要发现

• 即使对于基本的关系对，ChatGPT-4也频繁无法正确计算RCC-8演算中的组合。
• 模型经常产生错误或不完整的可能关系集合，例如遗漏组合表中的有效选项。
• 其推理不一致，对某一关系处理正确，但当其反关系被提出时却失败。
• 模型有时会混淆某一关系与其反关系，表明其对关系对称性缺乏稳健理解。
• 尽管在训练中接触过QSR文献，但模型并未能可靠地执行逻辑空间推理，表明其知识缺乏牢固的逻辑基础。
• 即使使用标准提示，其表现仍不理想，且通过思维链或微调也难以完全弥补其根本性的推理缺陷。

Figure 2: The RCC-8 Composition Table (Cohn et al. 1997 )