[논문 리뷰] GeoLLM: Extracting Geospatial Knowledge from Large Language Models

Rohin Manvi, Samar Khanna외 4명|arXiv (Cornell University)|2023. 10. 10.

Geographic Information Systems Studies인용 수 28

한 줄 요약

GeoLLM은 OpenStreetMap 데이터로 보강된 프롬프트에서 LLM을 미세조정하여 지리공간 지식을 추출하고, 인구 밀도 및 자산 부의 추정과 같은 작업에서 기준값 대비 상당한 개선을 달성하며 위성 기반 벤치마크에 비해 동등하거나 그 이상인 성능을 보인다.

ABSTRACT

The application of machine learning (ML) in a range of geospatial tasks is increasingly common but often relies on globally available covariates such as satellite imagery that can either be expensive or lack predictive power. Here we explore the question of whether the vast amounts of knowledge found in Internet language corpora, now compressed within large language models (LLMs), can be leveraged for geospatial prediction tasks. We first demonstrate that LLMs embed remarkable spatial information about locations, but naively querying LLMs using geographic coordinates alone is ineffective in predicting key indicators like population density. We then present GeoLLM, a novel method that can effectively extract geospatial knowledge from LLMs with auxiliary map data from OpenStreetMap. We demonstrate the utility of our approach across multiple tasks of central interest to the international community, including the measurement of population density and economic livelihoods. Across these tasks, our method demonstrates a 70% improvement in performance (measured using Pearson's $r^2$) relative to baselines that use nearest neighbors or use information directly from the prompt, and performance equal to or exceeding satellite-based benchmarks in the literature. With GeoLLM, we observe that GPT-3.5 outperforms Llama 2 and RoBERTa by 19% and 51% respectively, suggesting that the performance of our method scales well with the size of the model and its pretraining dataset. Our experiments reveal that LLMs are remarkably sample-efficient, rich in geospatial information, and robust across the globe. Crucially, GeoLLM shows promise in mitigating the limitations of existing geospatial covariates and complementing them well. Code is available on the project website: https://rohinmanvi.github.io/GeoLLM

연구 동기 및 목표

• LLM이 예측 작업에 활용될 수 있는 풍부한 지리공간 지식을 포함하고 있음을 입증한다.
• 지도 파생 맥락으로 프롬프트를 보강하는 것이 지리공간 정보의 추출을 향상시킨다는 것을 보인다.
• 다양한 지리공간 과제에서 미세조정된 LLM을 전통적 기준 및 위성 기반 벤치마크와 비교한다.

제안 방법

• 좌표와 맵 파생 맥락(주소 및 OpenStreetMap의 인근 장소)을 함께 제공하는 프롬프트를 구성한다.
• 이 프롬프트에서 인코더/디코더 LLM(RoBERTa, Llama 2, GPT-3.5)을 미세조정하여 지리공간 목표를 예측한다(0.0–9.9 척도로 반올림).
• 최소한의 지리공간 프롬프트를 사용하고 구성 요소를 제거하여 지도가 제공하는 데이터의 기여도(주소, 인근 장소)를 평가한다.
• LoRA/QLoRA를 사용한 미세조정으로 학습 파라미터를 줄이고 가중치 지식을 유지한다.
• 다수의 글로벌 데이터셋에서 실제값 대비 Pearson r^2를 예측하여 평가하고 k-NN 및 XGBoost와 같은 벤치마크와 비교한다.

Figure 2: Plots of absolute error comparing the best baselines and GPT-3.5 on tasks from each source with 1,000 samples. We also provide high-resolution plots from various locations around the world for the population density task from WorldPop. We show that GeoLLM not only outperforms baselines on

실험 결과

연구 질문

• RQ1 LLM이 좌표 자체로는 얻을 수 없는 유용한 지리공간 지식을 인코딩하고 있는가?
• RQ2 지도 파생 프롬프트 맥락이 LLM의 지리공간 예측을 개선할 수 있는가?
• RQ3 다양한 모델 크기와 사전 학습 데이터가 지리공간 지식 추출에 어떤 영향을 미치는가?
• RQ4 다양한 지리에서 위성 기반 공변량 및 전통적 기준에 비해 GeoLLM의 성능은 어떠한가?

주요 결과

• LLMs에는 상당한 지리공간 지식이 포함되어 있으며 좌표만으로 프롬프트를 주는 것은 종종 불충분하다.
• OpenStreetMap의 주소 및 인근 장소로 프롬프트를 보강하면 성능이 현저히 향상된다; 예를 들어, GPT-3.5는 인구 밀도에서 좌표만 프롬프트 대비 r^2이 3.3배 증가한다.
• GPT-3.5, Llama 2, RoBERTa는 각각 벤치마크(k-NN, XGBoost 변형) 대비 최대 70%, 43%, 13%의 개선을 달성; 일반적으로 GPT-3.5가 다른 모델들보다 다양한 작업에서 우수하다.
• GPT-3.5의 성능은 작업과 샘플 크기(100, 1,000, 10,000)에서 일관되게 강력하며 위성 기반 벤치마크를 종종 상회하거나 동등하다.
• 이 방법은 지리적 일관성과 샘플 효율성을 보이며 더 큰 모델과 더 큰 사전 학습 데이터가 더 나은 성능을 보이는 경향이 있어 GeoLLM의 확장성을 시사한다.