[論文レビュー] On the Opportunities and Challenges of Foundation Models for Geospatial Artificial Intelligence

Gengchen Mai, Weiming Huang+12 more|arXiv (Cornell University)|Apr 13, 2023

Data-Driven Disease Surveillance被引用数 65

ひとこと要約

本論文は地理空間ドメイン全体の既存のファウンデーションモデル（FMs）を体系的に評価し、テキストのみの地理空間タスクがゼロショット／少数ショット設定でLLMの恩恵を受ける一方で、多モーダルのGeoAIタスクには依然としてタスク特化型モデルが必要であることを示す。さらにGeoAIのための多モーダルFMフレームワークを提案し、リスクについて考察する。

ABSTRACT

Large pre-trained models, also known as foundation models (FMs), are trained in a task-agnostic manner on large-scale data and can be adapted to a wide range of downstream tasks by fine-tuning, few-shot, or even zero-shot learning. Despite their successes in language and vision tasks, we have yet seen an attempt to develop foundation models for geospatial artificial intelligence (GeoAI). In this work, we explore the promises and challenges of developing multimodal foundation models for GeoAI. We first investigate the potential of many existing FMs by testing their performances on seven tasks across multiple geospatial subdomains including Geospatial Semantics, Health Geography, Urban Geography, and Remote Sensing. Our results indicate that on several geospatial tasks that only involve text modality such as toponym recognition, location description recognition, and US state-level/county-level dementia time series forecasting, these task-agnostic LLMs can outperform task-specific fully-supervised models in a zero-shot or few-shot learning setting. However, on other geospatial tasks, especially tasks that involve multiple data modalities (e.g., POI-based urban function classification, street view image-based urban noise intensity classification, and remote sensing image scene classification), existing foundation models still underperform task-specific models. Based on these observations, we propose that one of the major challenges of developing a FM for GeoAI is to address the multimodality nature of geospatial tasks. After discussing the distinct challenges of each geospatial data modality, we suggest the possibility of a multimodal foundation model which can reason over various types of geospatial data through geospatial alignments. We conclude this paper by discussing the unique risks and challenges to develop such a model for GeoAI.

研究の動機と目的

• 複数のサブドメイン（Geospatial Semantics、Health Geography、Urban Geography、Remote Sensing）にわたる地理空間タスクにおける既存のファウンデーションモデルの性能を評価する。
• GeoAIタスクにおけるタスク非特化型FMの利点と限界を特定する，特に多モーダルデータに対して。
• 多モーダルGeoAIタスクに適したファウンデーションモデルのビジョンを描く課題を論じる。
• GeoAIファウンデーションモデルの開発と展開におけるリスクと考慮事項を強調する。

提案手法

• 四つのドメインにまたがる七つの地理空間タスクに対して、事前学習済みのファウンデーションモデル（LLMs、ビジョン、マルチモーダル）を Benchmark する。
• FMの性能を最新の完全監督付き、タスク特化型モデルと比較する。
• テキスト中心タスクにはゼロショットおよび少数ショット prompting を用いる；地形/意味タスクには少数ショットの例を用いた prompting を実装する。
• トポニム認識、場所説明認識、認知症死亡時系列予測（州および郡レベル）、POIベースの都市機能分類、ストリートビュー画像によるノイズ強度分類、RS画像シーン分類の性能を評価する。
• 結果を分析し、モダリティ別の長所/短所とモデルサイズおよび prompting戦略の影響を特定する。

(a) Persistence

実験結果

リサーチクエスチョン

• RQ1 既存のファウンデーションモデルはゼロショット/少数ショット設定で地理空間意味論タスクにおいてタスク特化モデルに匹敵するか、または上回るか？
• RQ2 FMは健康地理学、都市地理学、リモートセンシングのタスク、特にマルチモーダルタスクで良いパフォーマンスを示すか？
• RQ3 マルチモーダルGeoAIデータへFMを適用する際の主な課題は何か、そしてマルチモーダルGeoFMフレームワークはそれにどう対処できるか？
• RQ4 マルチモーダルGeoAIファウンデーションモデルを開発・展開する際にどんなリスクが生まれるか？

主な発見

モデル	#パラメータ	地名認識 (Hu2014) 精度	地名認識 (Ju2016) 精度	場所説明認識 (HaveyTweet2017) 適合率	場所説明認識 (HaveyTweet2017) 再現率	場所説明認識 (HaveyTweet2017) F1-スコア
GPT2	117M	0.556	0.650	0.540	0.413	0.468
GPT2-Medium	345M	0.806	0.802	0.529	0.503	0.515
GPT2-Large	774M	0.813	0.779	0.598	0.458	0.518
GPT2-XL	1558M	0.869	0.846	0.492	0.470	0.481
GPT-3	175B	0.881	0.811*	0.603	0.724	0.658
InstructGPT	175B	0.863	0.817*	0.567	0.688	0.622
ChatGPT (Raw.)	176B	0.800	0.696*	0.516	0.654	0.577
ChatGPT (Con.)	176B	0.806	0.656*	0.548	0.665	0.601

• LLMsはテキストのみの地理空間タスク（地名認識と場所説明認識）で、ゼロショット/少数ショット設定においてタスク特化の監視付きベースラインを上回ることがある—GPT-3等は一部データセットで顕著な利得を示す。
• 多モーダルGeoAIタスク（POIベースの都市機能分類、ストリートビュー画像による騒音強度分類、RS画像シーン分類など）では、既存のFMはタスク特化モデルに比べて性能が劣る。
• GPT-3、InstructGPT、いくつかのChatGPTバリアントは、州レベルの認知症時系列予測でARIMAベースのベースラインをゼロショット設定で時に上回る強力なパフォーマンスを示す。一方GPT-2系は時系列ベースラインに大きく劣る。
• 州レベルの認知症予測ではInstructGPTが複数指標でARIMAを上回る一方、GPT-2モデルは大きく出遅れる。郡レベルの結果も同様の傾向。
• 全体として、多モーダルGeoAIは現在のFMにとって依然重要な課題であり、地理空間整合性を備えたマルチモーダルGeoAIファウンデーションモデルの必要性を促している。

(b) ARIMA