[論文レビュー] ChatGPT as a mapping assistant: A novel method to enrich maps with generative AI and content derived from street-level photographs

Levente Juhász, Peter Mooney+2 more|arXiv (Cornell University)|Jan 1, 2023

Geographic Information Systems Studies被引用数 10

ひとこと要約

本稿では、Mapillaryのストリートレベル画像の自然言語記述を活用して、ChatGPTをマッピングアシスタントとして用いることで、OpenStreetMap（OSM）の道路タグ付けを向上させることを提案する。詳細な人間の記述とプロンプト工学、および文脈的情報（位置、検出されたオブジェクト）を組み合わせることで、ベースラインと比較してタグ付け精度を最大29%向上させた。生成AIが豊富で構造化された入力を受けることで、共同マッピングにおいて顕著な改善が可能であることが示された。

ABSTRACT

This paper explores the concept of leveraging generative AI as a mapping assistant for enhancing the efficiency of collaborative mapping. We present results of an experiment that combines multiple sources of volunteered geographic information (VGI) and large language models (LLMs). Three analysts described the content of crowdsourced Mapillary street-level photographs taken along roads in a small test area in Miami, Florida. GPT-3.5-turbo was instructed to suggest the most appropriate tagging for each road in OpenStreetMap (OSM). The study also explores the utilization of BLIP-2, a state-of-the-art multimodal pre-training method as an artificial analyst of street-level photographs in addition to human analysts. Results demonstrate two ways to effectively increase the accuracy of mapping suggestions without modifying the underlying AI models: by (1) providing a more detailed description of source photographs, and (2) combining prompt engineering with additional context (e.g. location and objects detected along a road). The first approach increases the suggestion accuracy by up to 29%, and the second one by up to 20%.

研究の動機と目的

• 生成AIがストリートレベル画像の自然言語記述に基づいて、OSMの道路機能タグを正確に提案できるかどうかを調査すること。
• プロンプト工学および文脈的補足（位置、検出されたオブジェクト）が、AI生成マッピング提案の精度に与える影響を評価すること。
• AIを共同マッピングワークフローにおける支援的アシスタントとして活用する可能性を評価し、人間アナリストへの依存を低減すること。

提案手法

• 3名のヒューマンアナリストがマイアミのテスト地域のMapillaryストリートレベル画像について、詳細なテキスト記述を提供した。
• GPT-3.5-turboに、これらの記述に基づいてOSMの「highway」タグを提案するようプロンプトを送信し、プロンプトの複雑さを段階的に変化させた。
• BLIP-2を用いて、画像のキャプションを自動生成し、視覚的質問応答（VQA）を実行することで、人間アナリストの代替手段を提供した。
• 位置情報（例：「ダウンタウンマイアミ付近」）や検出されたオブジェクトのリストといった追加文脈をプロンプトに統合し、精度向上を図った。
• OSMの真値と照らし合わせてタグ付け精度を評価し、さまざまなプロンプト設定とアナリストのレベルごとに結果を分析した。
• AIの提案結果を人間がアノテートした記述と比較し、追加のタグ（例：「lit」タグ）の完全性についても評価した。

実験結果

リサーチクエスチョン

• RQ1 生成AIは、ストリートレベル画像の自然言語記述を正確にOSMの道路機能タグに変換できるか？
• RQ2 プロンプト工学および文脈的補足（例：位置、検出されたオブジェクト）は、AI生成マッピング提案の精度をどの程度向上できるか？
• RQ3 共同マッピングの文脈において、AI生成提案のパフォーマンスは人間アナリストと比べてどの程度か？
• RQ4 多モodalモデル（例：BLIP-2）は、LLMベースのマッピングタスクの入力生成において、人間アナリストの代替として効果的に機能できるか？

主な発見

• ストリートレベル画像の記述をより詳細に提供することで、ChatGPTのOSMタグ付け提案精度が、ベースラインプロンプトと比較して最大29%向上した。
• 特に、道路の位置（例：「ダウンタウンマイアミ付近」）を追加文脈として提示することで、平均して4.3%から8.2%の精度向上が得られた。
• プロンプトに検出されたオブジェクトのリストを組み込むことで、ベースライン記述と比較して7.5%から11.0%の精度向上が達成された。
• 記述プロンプトに位置情報とオブジェクト検出情報を併用した場合、全アナリストで12.1%から19.5%の精度向上が見られた。
• ChatGPTは、既に「lit=yes」とタグ付けされた63%から92%のケースで「lit」タグを正しく提案し、OSMにまだタグが付いていない追加の44～61の機能に対しても「lit」タグを提案した。
• BLIP-2が生成したキャプションは、人間アナリストと比較して精度が低く（27–34%）、キャプションの質と詳細さが、後続のLLM性能に顕著に影響することが示された。