[论文解读] Evaluating the Effectiveness of Large Language Models in Representing Textual Descriptions of Geometry and Spatial Relations

Yuhan Ji, Song Gao|arXiv (Cornell University)|Jul 5, 2023

Geographic Information Systems Studies被引用 7

一句话总结

本研究评估了大型语言模型（LLMs）如GPT-2和BERT在从Well-Known Text（WKT）表示中编码几何与空间关系的能力。尽管LLMs在结合几何类型时对空间谓词的预测准确率最高可达73%，且在几何类型分类任务中达到100%准确率，但在数值估计（如面积、质心、距离）和空间推理任务中表现不佳，表明由于分词和嵌入平均化，其在保留定量空间信息方面存在局限性。

ABSTRACT

This research focuses on assessing the ability of large language models (LLMs) in representing geometries and their spatial relations. We utilize LLMs including GPT-2 and BERT to encode the well-known text (WKT) format of geometries and then feed their embeddings into classifiers and regressors to evaluate the effectiveness of the LLMs-generated embeddings for geometric attributes. The experiments demonstrate that while the LLMs-generated embeddings can preserve geometry types and capture some spatial relations (up to 73% accuracy), challenges remain in estimating numeric values and retrieving spatially related objects. This research highlights the need for improvement in terms of capturing the nuances and complexities of the underlying geospatial data and integrating domain knowledge to support various GeoAI applications using foundation models.

研究动机与目标

• 评估LLMs在从文本化WKT描述中表示几何与空间关系信息的有效性。
• 探究LLM生成的嵌入是否能保留几何属性（如类型、面积、质心和空间谓词）
• 评估LLMs在捕捉数值空间值并支持下游空间推理任务方面的能力
• 识别当前LLMs在GeoAI应用中的局限性，特别是在处理定量空间数据和整合领域特定地理空间知识方面

提出的方法

• 使用GIS工具从WKT格式的几何对象中提取几何与空间关系属性（如类型、面积、质心、谓词、距离）
• 利用预训练的LLMs（GPT-2和BERT）通过其基于Transformer的架构将WKT字符串编码为密集向量嵌入
• 将LLM生成的嵌入输入多层感知机（MLPs），并使用ReLU激活函数与Dropout正则化，以执行下游任务
• 在嵌入上训练分类器与回归器，以评估其在几何类型分类、面积与质心预测、空间谓词识别、距离估计和位置检索等任务上的性能
• 对面积与距离任务的目标值应用对数变换，对质心任务应用最小-最大归一化以稳定训练，最终结果在原始尺度上报告
• 在变换后与原始尺度上均使用均方误差（MSE）损失，最终性能报告基于原始目标值

Figure 1 : The evaluation workflow of this research

实验结果

研究问题

• RQ1 LLMs能否有效从WKT格式的文本描述中编码几何类型？
• RQ2 LLM生成的嵌入在在多大程度上能估计面积和质心等数值几何属性？
• RQ3 LLMs在捕捉与预测几何对象之间的空间关系（如不相交、包含、重叠）方面表现如何？
• RQ4 将几何类型纳入输入是否能提高空间谓词预测的准确率？
• RQ5 LLM嵌入能否支持空间推理任务（如位置预测或距离估计）？”

主要发现

• LLMs在验证集与测试集上对几何类型（Point、LineString、Polygon）的分类准确率均达到100%，表明其对类别化几何信息的编码能力很强。
• 在面积计算任务中，所有几何对象的平均百分比误差（MAPE）高达10,850%，仅多边形的MAPE为41.9%，表明数值估计存在严重不准确。
• 使用LLM嵌入推导质心的均方根误差（RMSE）为0.029，但预测的质心位置常落在研究区域之外，表明存在空间定位错误。
• 当将几何类型作为输入时，空间谓词预测的准确率达到72.3%，而未使用时为68.7%，表明上下文几何知识可提升性能。
• 对于不相交几何对象的距离估计，BERT的RMSE为0.075，表明尽管任务范围受限，其数值精度仍较差。
• 位置预测的Precision@5仅为3%，表明仅使用平均池化策略的LLM嵌入不足以支持基于空间相关性的对象检索。