[논문 리뷰] ChatGPT as a mapping assistant: A novel method to enrich maps with generative AI and content derived from street-level photographs

Levente Juhász, Peter Mooney외 2명|arXiv (Cornell University)|2023. 01. 01.

Geographic Information Systems Studies인용 수 10

한 줄 요약

이 논문은 ChatGPT를 매핑 보조자로 활용하여 Mapillary 스트리트 레벨 이미지의 자연어 기술서를 기반으로 OpenStreetMap (OSM) 도로 태그를 향상시키는 방법을 제안한다. 인간의 세밀한 기술서와 프롬프트 엔지니어링, 그리고 위치, 검출된 객체와 같은 맥락 데이터를 조합함으로써, 기준 대비 최대 29% 향상된 정확도를 달성하였으며, 이는 구동형 AI가 풍부하고 구조화된 입력을 통해 협업형 매핑에 상당한 기여를 할 수 있음을 보여준다.

ABSTRACT

This paper explores the concept of leveraging generative AI as a mapping assistant for enhancing the efficiency of collaborative mapping. We present results of an experiment that combines multiple sources of volunteered geographic information (VGI) and large language models (LLMs). Three analysts described the content of crowdsourced Mapillary street-level photographs taken along roads in a small test area in Miami, Florida. GPT-3.5-turbo was instructed to suggest the most appropriate tagging for each road in OpenStreetMap (OSM). The study also explores the utilization of BLIP-2, a state-of-the-art multimodal pre-training method as an artificial analyst of street-level photographs in addition to human analysts. Results demonstrate two ways to effectively increase the accuracy of mapping suggestions without modifying the underlying AI models: by (1) providing a more detailed description of source photographs, and (2) combining prompt engineering with additional context (e.g. location and objects detected along a road). The first approach increases the suggestion accuracy by up to 29%, and the second one by up to 20%.

연구 동기 및 목표

• 스트리트 레벨 이미지의 자연어 기술서를 기반으로 생성형 AI가 OSM 도로 특성 태그를 정확하게 제안할 수 있는지 조사하는 것.
• 프롬프트 엔지니어링 및 맥락 증강(위치, 검출된 객체 등)이 AI 생성 매핑 제안의 정확도에 미치는 영향을 평가하는 것.
• 협업형 매핑 워크플로우에서 AI를 보조자로 활용할 수 있는지의 타당성을 평가하여 인간 분석가에 대한 의존도를 줄이는 것.

제안 방법

• 세 명의 인간 분석가가 마이애미 테스트 지역의 Mapillary 스트리트 레벨 이미지에 대해 세밀한 텍스트 기술서를 제공하였다.
• GPT-3.5-turbo는 다양한 수준의 프롬프트 복잡도를 사용하여 이러한 기술서를 바탕으로 OSM 'highway' 태그를 제안하도록 유도하였다.
• BLIP-2는 이미지 캡션을 자동 생성하고 시각적 질의 응답을 수행하여, 인간 분석가의 대체 수단으로 기능하였다.
• 위치(예: '다운타운 마이애미 근처') 및 검출된 객체 목록과 같은 추가 맥락 정보를 프롬프트에 통합하여 정확도를 향상시켰다.
• OSM 기준값과의 비교를 통해 태깅 정확도를 평가하였으며, 다양한 프롬프트 구성과 분석가 수준 간의 결과를 분석하였다.
• AI 제안 사항을 인간 태깅 기술서와 비교하였으며, 완전성 측면에서 추가 태깅(예: 'lit' 태그) 여부도 평가하였다.

실험 결과

연구 질문

• RQ1 생성형 AI는 스트리트 레벨 이미지의 자연어 기술서를 정확하게 OSM 도로 특성 태그로 변환할 수 있는가?
• RQ2 프롬프트 엔지니어링 및 맥락 증강(예: 위치, 검출된 객체 등)이 AI 생성 매핑 제안의 정확도에 어느 정도 기여하는가?
• RQ3 협업형 매핑 환경에서 AI 생성 제안의 성능은 인간 분석가와 비교해 어떻게 되는가?
• RQ4 멀티모odal 모델인 BLIP-2는 LLM 기반 매핑 작업의 입력을 생성하기 위해 인간 분석가를 효과적으로 대체할 수 있는가?

주요 결과

• 스트리트 레벨 이미지에 대해 더 세밀한 인간 기술서를 제공할수록 ChatGPT의 OSM 태그 제안 정확도가 기준 프롬프트 대비 최대 29% 향상되었다.
• 특히 도로의 위치 정보(예: '다운타운 마이애미 근처')를 추가 맥락으로 통합함으로써 정확도가 평균 4.3%에서 8.2%까지 향상되었다.
• 검출된 객체 목록을 프롬프트에 포함시킴으로써 기준 기술서 대비 정확도가 7.5%에서 11.0%까지 향상되었다.
• 기본 기술서에 더해 위치 및 객체 검출 맥락 정보를 통합한 조합은 모든 분석가에서 정확도를 12.1%에서 19.5%까지 향상시켰다.
• ChatGPT는 기존에 'lit=yes'로 태그된 63%에서 92%의 케이스에 대해 'lit' 태그를 정확히 제안하였으며, OSM에 아직 태그되지 않은 44~61개의 기능에 대해서도 이를 제안하였다.
• BLIP-2가 생성한 캡션은 인간 분석가보다 정확도가 낮아(27–34%) 캡션의 품질과 세부 정보가 후속 LLM 성능에 상당한 영향을 미친다는 점을 시사한다.