[论文解读] ChatGPT as a mapping assistant: A novel method to enrich maps with generative AI and content derived from street-level photographs

Levente Juhász, Peter Mooney+2 more|arXiv (Cornell University)|Jan 1, 2023

Geographic Information Systems Studies被引用 10

一句话总结

本文提出使用ChatGPT作为映射助手，通过利用Mapillary街景图像的自然语言描述来提升OpenStreetMap（OSM）道路标签的准确性。通过结合详细的描述、提示工程以及上下文数据（位置、检测到的物体），该方法相比基线模型将标签准确率提升了最高达29%，表明在提供丰富且结构化的输入时，生成式AI可显著改善协作制图的效果。

ABSTRACT

This paper explores the concept of leveraging generative AI as a mapping assistant for enhancing the efficiency of collaborative mapping. We present results of an experiment that combines multiple sources of volunteered geographic information (VGI) and large language models (LLMs). Three analysts described the content of crowdsourced Mapillary street-level photographs taken along roads in a small test area in Miami, Florida. GPT-3.5-turbo was instructed to suggest the most appropriate tagging for each road in OpenStreetMap (OSM). The study also explores the utilization of BLIP-2, a state-of-the-art multimodal pre-training method as an artificial analyst of street-level photographs in addition to human analysts. Results demonstrate two ways to effectively increase the accuracy of mapping suggestions without modifying the underlying AI models: by (1) providing a more detailed description of source photographs, and (2) combining prompt engineering with additional context (e.g. location and objects detected along a road). The first approach increases the suggestion accuracy by up to 29%, and the second one by up to 20%.

研究动机与目标

• 探究生成式AI是否能基于街景图像的自然语言描述准确建议OSM道路要素标签。
• 评估提示工程与上下文增强（位置、检测到的物体）对AI生成制图建议准确率的影响。
• 评估在协作制图工作流中使用AI作为辅助助手的可行性，以减少对人工分析师的依赖。

提出的方法

• 三位人工分析师为迈阿密测试区域的Mapillary街景图像提供了详细的文本描述。
• 使用GPT-3.5-turbo模型，基于这些描述生成OSM 'highway'标签建议，采用不同复杂度的提示。
• 使用BLIP-2自动生成图像字幕并执行视觉问答，作为人工分析师的自动化替代方案。
• 将额外上下文信息（如地理位置，例如“靠近迈阿密市中心”）和检测到的物体列表整合到提示中，以提升准确率。
• 以OSM真实标签为基准评估标签准确率，分析不同提示配置与不同分析师水平下的结果。
• 将AI建议与人工标注描述进行对比，并评估附加标签（如“lit”标签）的完整性。

实验结果

研究问题

• RQ1 生成式AI能否将街景图像的自然语言描述准确转换为正确的OSM道路要素标签？
• RQ2 提示工程与上下文增强（如位置、检测到的物体）在多大程度上能提升AI生成制图建议的准确率？
• RQ3 在协作制图背景下，AI生成建议的性能与人工分析师相比如何？
• RQ4 多模态模型如BLIP-2能否有效替代人工分析师，为基于大语言模型的制图任务生成输入？

主要发现

• 提供更详细的街景图像描述，使ChatGPT的OSM标签建议准确率相比基线提示最高提升29%。
• 整合额外上下文信息，特别是道路位置（如“靠近迈阿密市中心”），使准确率平均提升4.3%至8.2%。
• 在提示中加入检测到的物体列表，使准确率相比基线描述提升7.5%至11.0%。
• 将描述提示与位置及物体检测上下文结合，使所有分析师的准确率提升12.1%至19.5%。
• ChatGPT对63%至92%的现有“lit=yes”情况正确建议了“lit”标签，并为额外44至61个尚未标记的要素提出了该标签。
• BLIP-2生成的字幕准确率较低（27%至34%），表明字幕质量与细节程度对下游大语言模型性能有显著影响。