[論文レビュー] Large Language Models for Geolocation Extraction in Humanitarian Crisis Response

G. Cafferata, T. Demarco+3 more|arXiv (Cornell University)|Feb 9, 2026

Geographic Information Systems Studies被引用数 0

ひとこと要約

要約: 本論文は few-shot LLM ベースの NER とエージェント型ジオコーダを組み合わせた二段階フレームワークを提案し、災害時文書からの地理的位置抽出を改善し、地理的および Socioeconomic バイアスを低減する。

ABSTRACT

Humanitarian crises demand timely and accurate geographic information to inform effective response efforts. Yet, automated systems that extract locations from text often reproduce existing geographic and socioeconomic biases, leading to uneven visibility of crisis-affected regions. This paper investigates whether Large Language Models (LLMs) can address these geographic disparities in extracting location information from humanitarian documents. We introduce a two-step framework that combines few-shot LLM-based named entity recognition with an agent-based geocoding module that leverages context to resolve ambiguous toponyms. We benchmark our approach against state-of-the-art pretrained and rule-based systems using both accuracy and fairness metrics across geographic and socioeconomic dimensions. Our evaluation uses an extended version of the HumSet dataset with refined literal toponym annotations. Results show that LLM-based methods substantially improve both the precision and fairness of geolocation extraction from humanitarian texts, particularly for underrepresented regions. By bridging advances in LLM reasoning with principles of responsible and inclusive AI, this work contributes to more equitable geospatial data systems for humanitarian response, advancing the goal of leaving no place behind in crisis analytics.

研究の動機と目的

• 人道文書からの自動地理位置推定における地理的バイアスを調査し、LLMs がこれらの差を緩和できるか評価する。
• 文脈を活用するエージェント型ジオコーダを活用した few-shot LLM ベースの NER を組み合わせた二段階パイプラインを開発する。
• 精度と公平性の指標を用いて、最新の事前学習済み・ルールベースシステムと LLM ベース手法をベンチマークする。
• 評価を安定化させるための HumSet データセットを、より優れた直喩的地名注釈で改良する。

提案手法

• 事前定義された前処理戦略で LLM 入力に収まるようドキュメントを分割する。
• few-shot LLM を適用して NER タギングを二つの出力形式（JSON と Markdown）で実行する。
• NER 出力を後処理してリテラル地名を整列・結合し、位置情報を適切に処理する。
• エージェント型ジオコーダ（LangChain + GeoNames + Pelias）を用いて文脈依存の推論で曖昧性を解消し座標を取得する。
• 地域・所得層別の精度と公平性を評価する。
• ベースラインのルールベースジオコーディングシステムや事前学習済み/微調整済みNERモデルと比較する。

Figure 1. Overview of our LLM-based geolocation extraction pipeline. Humanitarian documents are chunked and sent to a few-shot LLM for location NER tagging, followed by postprocessing that aligns and merges literal toponyms. An agent-based geocoder then uses contextual reasoning and GeoNames queries

実験結果

リサーチクエスチョン

• RQ1 LLM ベースの NER タガーを用いると、人道文書における位置抽出の精度は事前学習済みまたはルールベースシステムより向上するか。
• RQ2 文脈推論を活用するエージェント型ジオコーダは大陸間および所得グループ間の地理位置の誤差とバイアスを低減できるか。
• RQ3 JSON と Markdown の出力形式はリテラル地名抽出の精度と再現率にどのような影響を与えるか。
• RQ4 改善された注釈データセットは地理位置推定パイプラインの公正性評価にどの程度影響するか。
• RQ5 LLM 主導のパイプラインは基準より地理的・社会経済的階層間でより公平な性能を示すか。

主な発見

• LLM ベース NER タガーは、ドメイン特化の訓練なしで、従来の事前学習モデルよりも正確な位置抽出（完全一致および部分一致の両方）で優れている。
• JSON 出力は高い精度を、Markdown 出力は高い再現率を生むことが分かれ、形式によるトレードオフを示す。
• エージェント型ジオロケータは、ルールベースのベースラインと比較して正確性（完全一致）および 161 km、国レベルのジオコーディング精度で有意に上回る。
• 公正性分析では、複数の LLM で大陸および所得グループ間の格差がほぼ同等となり、ベースラインと比較して差異が縮小される。
• エージェント型ジオロケータは、ルールベースシステムに対して地理的位置誤差の地域差と所得差を低減する。

Figure 2. Precision–recall trade-offs for the evaluated LLM-based NER taggers under JSON and Markdown output formats. JSON configurations generally yield higher precision, while Markdown formats achieve higher recall, reflecting the tendency of Markdown prompts to capture more toponyms at the cost o