[论文解读] Large Language Models for Geolocation Extraction in Humanitarian Crisis Response

G. Cafferata, T. Demarco+3 more|arXiv (Cornell University)|Feb 9, 2026

Geographic Information Systems Studies被引用 0

一句话总结

论文提出一个两步框架：使用少量示例的LLM为命名实体识别（NER），再结合基于代理的地理编码模块，以提高人道主义文本的地理定位提取并减少地理与社会经济偏差。

ABSTRACT

Humanitarian crises demand timely and accurate geographic information to inform effective response efforts. Yet, automated systems that extract locations from text often reproduce existing geographic and socioeconomic biases, leading to uneven visibility of crisis-affected regions. This paper investigates whether Large Language Models (LLMs) can address these geographic disparities in extracting location information from humanitarian documents. We introduce a two-step framework that combines few-shot LLM-based named entity recognition with an agent-based geocoding module that leverages context to resolve ambiguous toponyms. We benchmark our approach against state-of-the-art pretrained and rule-based systems using both accuracy and fairness metrics across geographic and socioeconomic dimensions. Our evaluation uses an extended version of the HumSet dataset with refined literal toponym annotations. Results show that LLM-based methods substantially improve both the precision and fairness of geolocation extraction from humanitarian texts, particularly for underrepresented regions. By bridging advances in LLM reasoning with principles of responsible and inclusive AI, this work contributes to more equitable geospatial data systems for humanitarian response, advancing the goal of leaving no place behind in crisis analytics.

研究动机与目标

• 调查人道主义文档中自动地理定位的地理偏差，并评估LLMs是否能够缓解这些差异。
• 开发一个两步管线，将少量示例的LLM-based NER与利用上下文的代理地理编码器结合起来。
• 在准确性和公平性指标上，将基于LLM的方法与最先进的预训练及基于规则的系统进行基准比较。
• 用改进的文字逐字地名注释来改进HumSet数据集，以实现稳健评估。

提出的方法

• 将文档分块以适应LLM输入，采用预定义的预处理策略。
• 应用少量示例的LLM执行NER标注，输出两种格式（JSON 与 Markdown）。
• 对NER输出进行后处理，以对齐并合并字面地名并处理位置信息。
• 使用基于代理的地理编码器（LangChain + GeoNames + Pelias）进行消歧义并结合上下文感知推理获取坐标。
• 在地理区域与收入组的准确性和公平性上对模型进行评估。
• 与基线的基于规则的地理编码系统以及预训练/微调的NER模型进行对比。

Figure 1. Overview of our LLM-based geolocation extraction pipeline. Humanitarian documents are chunked and sent to a few-shot LLM for location NER tagging, followed by postprocessing that aligns and merges literal toponyms. An agent-based geocoder then uses contextual reasoning and GeoNames queries

实验结果

研究问题

• RQ1 在人道文本中，基于LLM的NER标注是否在位置提取准确性方面优于预训练或规则系统？
• RQ2 利用上下文推理的基于代理的地理编码器是否能够减少跨大洲和收入结构的地理定位错误与偏差？
• RQ3 JSON与Markdown输出格式对字面地名提取的精确度和召回率有何影响？
• RQ4 改进的注释数据集在评估地理定位管线的公平性方面有多大影响？
• RQ5 相较于基线，LLM驱动的管线是否在地理与社会经济层面的表现更公平？

主要发现

• 基于LLM的NER标注器在不进行领域特定训练的情况下，在精准和部分地点提取方面均优于传统的预训练模型。
• JSON输出具有更高的精确度，而Markdown输出具有更高的召回率，显示出格式驱动的权衡。
• 基于代理的地理定位器在精确、161公里以及国家级地理编码准确性方面显著优于基线的基于规则方法。
• 公平性分析显示在若干LLM中，跨大洲与收入组的差异趋近于平衡，较基线降低了偏差。
• 相较于基于规则的系统，基于代理的地理定位器在地理定位误差的区域性和收入相关差异方面有所降低。

Figure 2. Precision–recall trade-offs for the evaluated LLM-based NER taggers under JSON and Markdown output formats. JSON configurations generally yield higher precision, while Markdown formats achieve higher recall, reflecting the tendency of Markdown prompts to capture more toponyms at the cost o