[논문 리뷰] On the Opportunities and Challenges of Foundation Models for Geospatial Artificial Intelligence

Gengchen Mai, Weiming Huang외 12명|arXiv (Cornell University)|2023. 04. 13.

Data-Driven Disease Surveillance인용 수 65

한 줄 요약

이 논문은 기존의 파운데이션 모델(FMs)을 지리공간 도메인 전반에 걸쳐 체계적으로 평가하고, 텍스트 기반 지오스페이셜 태스크는 제로샷/소수샷 설정에서 LLM의 이점을 보이는 반면 다중모달 GeoAI 태스크는 여전히 작업 특화 모델이 필요하다고 제시한다; GeoAI를 위한 다중모달 FM 프레임워크를 제안하고 위험성을 논의한다.

ABSTRACT

Large pre-trained models, also known as foundation models (FMs), are trained in a task-agnostic manner on large-scale data and can be adapted to a wide range of downstream tasks by fine-tuning, few-shot, or even zero-shot learning. Despite their successes in language and vision tasks, we have yet seen an attempt to develop foundation models for geospatial artificial intelligence (GeoAI). In this work, we explore the promises and challenges of developing multimodal foundation models for GeoAI. We first investigate the potential of many existing FMs by testing their performances on seven tasks across multiple geospatial subdomains including Geospatial Semantics, Health Geography, Urban Geography, and Remote Sensing. Our results indicate that on several geospatial tasks that only involve text modality such as toponym recognition, location description recognition, and US state-level/county-level dementia time series forecasting, these task-agnostic LLMs can outperform task-specific fully-supervised models in a zero-shot or few-shot learning setting. However, on other geospatial tasks, especially tasks that involve multiple data modalities (e.g., POI-based urban function classification, street view image-based urban noise intensity classification, and remote sensing image scene classification), existing foundation models still underperform task-specific models. Based on these observations, we propose that one of the major challenges of developing a FM for GeoAI is to address the multimodality nature of geospatial tasks. After discussing the distinct challenges of each geospatial data modality, we suggest the possibility of a multimodal foundation model which can reason over various types of geospatial data through geospatial alignments. We conclude this paper by discussing the unique risks and challenges to develop such a model for GeoAI.

연구 동기 및 목표

• 다양한 하위 도메인(지리공간 의미론, 건강 지리학, 도시 지리학, 원격 감지)에 걸친 지리공간 태스크에서 기존 파운데이션 모델의 성능을 평가한다.
• GeoAI 태스크에서 작업 비특화 FMs의 장점과 한계를 파악한다. 특히 다중모달 데이터에 대해.
• GeoAI 태스크에 특화된 다중모달 파운데이션 모델의 비전과 도전을 제시한다.
• GeoAI 파운데이션 모델 개발 및 배포에서의 위험과 고려사항을 강조한다.

제안 방법

• 네 가지 도메인에 걸쳐 일곱 가지 지리공간 태스크에서 여러 사전 학습 파운데이션 모델(LLM, 비전, 다중모달)을 벤치마크한다.
• FM의 성능을 최신의 완전 지도 학습, 태스크 특화 모델과 비교한다.
• 텍스트 중심 태스크에 대해 제로샷 및 소수샷 프롬프트를 사용한다; 지형/의미 태스크에 대해 소수샷 예시를 포함한 프롬프트를 구현한다.
• 지명 인식, 위치 설명 인식, 치매 사망 시계열 예측(주/카운티 수준), POI 기반 도시 기능 분류, 거리 뷰 이미지 기반 소음 강도 분류, RS 이미지 현장 분류에 대한 성능을 평가한다.
• 결과를 분석하여 모달리티별 강점/약점과 모델 크기 및 프롬프트 전략의 영향을 파악한다.

(a) Persistence

실험 결과

연구 질문

• RQ1 제로샷/소수샷 설정에서 기존 파운데이션 모델이 지리공간 의미론 태스크에서 태스크 특화 모델과 대등하거나 더 나은 성능을 낼 수 있는가?
• RQ2 FM이 건강 지리학, 도시 지리학, 원격 감지 태스크에서, 특히 다중모달 태스크에서 잘 작동하는가?
• RQ3 다중모달 GeoAI 데이터에 FM을 적용할 때의 주요 과제는 무엇이며, 다중모달 GeoFM 프레임워크가 이를 어떻게 해결할 수 있는가?
• RQ4 다중모달 GeoAI 파운데이션 모델의 개발 및 배치에서 어떤 위험이 나타나는가?

주요 결과

• 다수의 모델에서 LLM이 텍스트 기반 지오스페이셜 태스크(지명 인식 및 위치 설명 인식)에서 제로샷/소수샷 설정으로 태스크 특화된 감독 기초 모델을 능가할 수 있다.
• 다중모달 GeoAI 태스크(예: POI 기반 도시 기능 분류, 거리 뷰 이미지 기반 소음 강도 분류, RS 이미지 현장 분류)에서는 기존 FM이 태스크 특화 모델에 비해 성능이 떨어진다.
• GPT-3, InstructGPT, 일부 ChatGPT 변형은 주 차원의 치매 시계열 예측에서 강력한 성능을 보이며 제로샷 설정에서 ARIMA 기반 기준선을 종종 능가하지만, GPT-2 계열은 일반적으로 시계열 기준선을 하회한다.
• 주 차원 치매 예측에서 InstructGPT는 ARIMA를 여러 메트릭에서 능가할 수 있는 반면 GPT-2 계열은 크게 뒤처진다; 카운티 차원의 결과도 유사한 경향을 보인다.
• 전반적으로 다중모달 GeoAI는 현재 FM의 주요 도전 과제로 남아 있으며, 지리공간 정렬을 갖춘 다중모달 GeoAI 파운데이션 모델의 필요성을 시사한다.

(b) ARIMA