[論文レビュー] GeoLLM: Extracting Geospatial Knowledge from Large Language Models

Rohin Manvi, Samar Khanna+4 more|arXiv (Cornell University)|Oct 10, 2023

Geographic Information Systems Studies被引用数 28

ひとこと要約

GeoLLM は OpenStreetMap データで拡張されたプロンプト上の LLM をファインチューニングし、地理空間知識を抽出。人口密度や資産富裕度推定などのタスクでベースラインを大きく上回り、衛星ベースのベンチマークと同等またはそれを超える性能を示す。

ABSTRACT

The application of machine learning (ML) in a range of geospatial tasks is increasingly common but often relies on globally available covariates such as satellite imagery that can either be expensive or lack predictive power. Here we explore the question of whether the vast amounts of knowledge found in Internet language corpora, now compressed within large language models (LLMs), can be leveraged for geospatial prediction tasks. We first demonstrate that LLMs embed remarkable spatial information about locations, but naively querying LLMs using geographic coordinates alone is ineffective in predicting key indicators like population density. We then present GeoLLM, a novel method that can effectively extract geospatial knowledge from LLMs with auxiliary map data from OpenStreetMap. We demonstrate the utility of our approach across multiple tasks of central interest to the international community, including the measurement of population density and economic livelihoods. Across these tasks, our method demonstrates a 70% improvement in performance (measured using Pearson's $r^2$) relative to baselines that use nearest neighbors or use information directly from the prompt, and performance equal to or exceeding satellite-based benchmarks in the literature. With GeoLLM, we observe that GPT-3.5 outperforms Llama 2 and RoBERTa by 19% and 51% respectively, suggesting that the performance of our method scales well with the size of the model and its pretraining dataset. Our experiments reveal that LLMs are remarkably sample-efficient, rich in geospatial information, and robust across the globe. Crucially, GeoLLM shows promise in mitigating the limitations of existing geospatial covariates and complementing them well. Code is available on the project website: https://rohinmanvi.github.io/GeoLLM

研究の動機と目的

• LLMs が予測タスクに活用できる豊富な地理空間知識を含んでいることを示す。
• 地図由来の文脈を含むプロンプトの拡充が地理空間情報の抽出を改善することを示す。
• ファインチューニングされた LLM を従来のベースラインおよび衛星ベースのベンチマークと、さまざまな地理空間タスクで比較する。

提案手法

• 座標と地図由来の文脈（OpenStreetMap からの住所と近接する場所）を組み合わせたプロンプトを構築する。
• これらのプロンプト上でエンコーダ/デコーダ型の LLM（RoBERTa、Llama 2、GPT-3.5）をファインチューニングし、地理空間ターゲットを予測する（0.0–9.9 のスケールに丸める）。
• 最小限の実用的な地理空間プロンプトを使用し、地図データの寄与（住所、近接地点）を評価するために成分をアブレーションする。
• LoRA/QLoRA を用いたファインチューニングを適用し、学習するパラメータを削減し重みの知識を維持する。
• 複数のグローバルデータセットに対して地真値と Pearson r^2 を予測することで評価する；k-NN や XGBoost などのベースラインと比較する。

Figure 2: Plots of absolute error comparing the best baselines and GPT-3.5 on tasks from each source with 1,000 samples. We also provide high-resolution plots from various locations around the world for the population density task from WorldPop. We show that GeoLLM not only outperforms baselines on

実験結果

リサーチクエスチョン

• RQ1 LLMs が座標だけではアクセスできない有用な地理空間知識を含んでいるか。
• RQ2 地図由来のプロンプト文脈が LLM からの地理空間予測を改善できるか。
• RQ3 異なるモデルサイズと事前学習データは地理空間知識の抽出にどう影響するか。
• RQ4 GeoLLM はさまざまな地理で衛星ベースの共変量および従来のベースラインと比較してどのように機能するか。

主な発見

• LLMs は substantial な地理空間知識を含んでおり、座標だけのプロンプトはしばしば不十分。
• 住所と OpenStreetMap の近接地点でプロンプトを補強すると性能が顕著に向上；たとえば、人口密度のための r^2 は座標のみプロンプトより 3.3 倍増加。
• GPT-3.5、Llama 2、RoBERTa はそれぞれベースライン（k-NN、XGBoost の派生）より最大 70%、43%、13% の改善を達成；GPT-3.5 はタスク全般で他を上回ることが多い。
• GPT-3.5 のパフォーマンスはタスクとサンプルサイズ（100、1,000、10,000）を通じて一貫して高く、衛星ベースのベンチマークと同等またはそれを上回ることが多い。
• 本手法は地理的一貫性とサンプル効率性を示し、大規模モデルと大きな事前学習データはより良いパフォーマンスを発揮する傾向があり、GeoLLM のスケーラビリティを示唆する。