[논문 리뷰] Towards Urban General Intelligence: A Review and Outlook of Urban Foundation Models

Weijia Zhang, Jindong Han외 5명|arXiv (Cornell University)|2024. 01. 30.

Human Mobility and Location-Based Analysis인용 수 6

한 줄 요약

이 논문은 Urban Foundation Models (UFMs)을 정의하고, 데이터 중심의 분류학을 제시하며, 데이터 모달리티에 따른 현재 UFMs를 조사하고, Urban General Intelligence (UGI)를 실현하기 위한 프레임워크와 향후 방향을 제안한다.

ABSTRACT

The integration of machine learning techniques has become a cornerstone in the development of intelligent urban services, significantly contributing to the enhancement of urban efficiency, sustainability, and overall livability. Recent advancements in foundational models, such as ChatGPT, have introduced a paradigm shift within the fields of machine learning and artificial intelligence. These models, with their exceptional capacity for contextual comprehension, problem-solving, and task adaptability, present a transformative opportunity to reshape the future of smart cities and drive progress toward Urban General Intelligence (UGI). Despite increasing attention to Urban Foundation Models (UFMs), this rapidly evolving field faces critical challenges, including the lack of clear definitions, systematic reviews, and universalizable solutions. To address these issues, this paper first introduces the definition and concept of UFMs and highlights the distinctive challenges involved in their development. Furthermore, we present a data-centric taxonomy that classifies existing research on UFMs according to the various urban data modalities and types. In addition, we propose a prospective framework designed to facilitate the realization of versatile UFMs, aimed at overcoming the identified challenges and driving further progress in this field. Finally, this paper systematically summarizes and discusses existing benchmarks and datasets related to UFMs, and explores the wide-ranging applications of UFMs within urban contexts, illustrating their potential to significantly impact and transform urban systems. A comprehensive collection of relevant research papers and open-source resources have been collated and are continuously updated at: https://github.com/usail-hkust/Awesome-Urban-Foundation-Models.

연구 동기 및 목표

• Urban Foundation Models (UFMs)를 정의하고 Urban General Intelligence (UGI)를 추구하는 데 있어 이들의 역할을 밝힌다.
• 도시 데이터 모달리티를 아우르는 UFMs의 데이터 중심 분류체를 제공하여 기존 연구를 정리한다.
• UFMs 구축의 핵심 과제를 식별하고 다용도 UFMs와 광범위한 도시 응용을 위한 전망 프레임워크를 개요한다.

제안 방법

• UFMs의 형식적 정의와 기본 개념을 제시한다.
• 도시 데이터 모달리티(언어, 시각, 시계열, 궤적, geovector, 다중모달, 기타)에 따라 UFMs를 분류하는 데이터 중심 분류체를 제안한다.
• 감독학습, 생성적, 대조적, 하이브리드 등 사전 학습 및 적응 기법을 검토한다(미세조정, 프롬프트 튜닝, 프롬프트 엔지니어링).
• UFMs를 위한 현재 벤치마크와 데이터 세트를 요약하고 geovector 기반 UFMs에 대해 논의한다.
• 다양한 도시 작업과 영역에 적용 가능한 다용도 UFMs 구축을 위한 전망 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 UFMs란 무엇이며 Urban General Intelligence (UGI)와 어떤 관련이 있는가?
• RQ2 UFMs를 도시 데이터 모달리티와 개발 기법에 따라 체계적으로 어떻게 분류할 수 있는가?
• RQ3 UFMs를 가로막는 주요 도전과제는 무엇이며, 도시 응용에 대한 다용도이고 일반화 가능한 UFMs를 지원할 수 있는 프레임워크는 무엇인가?

주요 결과

• UFMs는 다중 소스, 다중 해상도, 다중 모달 도시 데이터로 사전 학습되며 다양한 도시 도메인에 대해 범용 기능을 제공합니다.
• 데이터 중심의 분류체는 UFMs를 언어, 시각, 시계열, 궤적, geovector, 다중모달, 기타의 일곱 가지 데이터 모달리티로 정리합니다.
• UFMs는 작업 다재다능성을 달성하기 위해 사전 학습(감독, 생성, 대조, 하이브리드)과 적응(미세 조정, 프롬프트 튜닝, 프롬프트 엔지니어링)에 의존합니다.
• 주요 도전과제에는 출처 간 데이터 통합, 시공간 추론, 교차 도메인 다재다능성, 프라이버시/보안 우려가 포함됩니다.
• 도시 작업과 도메인 전반에 일반화할 수 있는 다용도 UFMs 개발을 안내하기 위한 전망 프레임워크가 제안됩니다.