[논문 리뷰] Foundation Models for Remote Sensing and Earth Observation: A Survey

Aoran Xiao, Weihao Xuan외 5명|arXiv (Cornell University)|2024. 10. 22.

Geological Modeling and Analysis인용 수 6

한 줄 요약

이 고찰은 Remote Sensing Foundation Models (RSFMs)을 검토하고 VFMs, VLMs, LLMs 및 기타 RSFMs를 분류하며 데이터 세트와 방법을 조사하고 도전과제와 향후 방향을 개요합니다.

ABSTRACT

Remote Sensing (RS) is a crucial technology for observing, monitoring, and interpreting our planet, with broad applications across geoscience, economics, humanitarian fields, etc. While artificial intelligence (AI), particularly deep learning, has achieved significant advances in RS, unique challenges persist in developing more intelligent RS systems, including the complexity of Earth's environments, diverse sensor modalities, distinctive feature patterns, varying spatial and spectral resolutions, and temporal dynamics. Meanwhile, recent breakthroughs in large Foundation Models (FMs) have expanded AI's potential across many domains due to their exceptional generalizability and zero-shot transfer capabilities. However, their success has largely been confined to natural data like images and video, with degraded performance and even failures for RS data of various non-optical modalities. This has inspired growing interest in developing Remote Sensing Foundation Models (RSFMs) to address the complex demands of Earth Observation (EO) tasks, spanning the surface, atmosphere, and oceans. This survey systematically reviews the emerging field of RSFMs. It begins with an outline of their motivation and background, followed by an introduction of their foundational concepts. It then categorizes and reviews existing RSFM studies including their datasets and technical contributions across Visual Foundation Models (VFMs), Visual-Language Models (VLMs), Large Language Models (LLMs), and beyond. In addition, we benchmark these models against publicly available datasets, discuss existing challenges, and propose future research directions in this rapidly evolving field. A project associated with this survey has been built at https://github.com/xiaoaoran/awesome-RSFMs .

연구 동기 및 목표

• 전통적인 태스크-특정 모델을 넘어서는 다양한 RS 모달리티와 태스크를 다루도록 RSFM 개발을 촉진한다.
• RSFM과 관련된 기본 개념, 아키텍처, 학습 패러다임을 요약한다.
• VFMs, VLMs, LLMs를 포함한 기존 RSFM 연구, 데이터세트 및 기술적 기여를 분류하고 분석한다.
• 공개된 RS 데이터세트에서 RSFM을 벤치마크하고 현 연구의 한계와 격차를 논의한다.
• 지구 관측 응용 분야에서 RSFM을 발전시키기 위한 향후 연구 방향을 제시한다.

제안 방법

• RS 응용을 위해 RSFM을 VFMs, VLMs, LLMs 및 그 이상으로 분류한다.
• 감독 학습 및 자가감독 학습을 포함한 사전 학습 방법과 RS 데이터 특성과의 정렬을 검토한다.
• RSFMs에서 RS 센서 모달리티(RGB, MSI, HSI, SAR, LiDAR, DSM, TIR)를 분석한다.
• RSFMs에 사용된 데이터 원천과 사전 학습 데이터세트의 규모와 다양성을 논의한다.
• 일반적인 RS 해석 태스크(장면 분류, 의미 분할, 탐지, 변화 탐지, VQA, 캡션 생성, 근거 매핑)를 고찰한다.
• 성능 벤치마킹을 요약하고 도전과제와 향후 방향을 식별한다.

실험 결과

연구 질문

• RQ1 RSFM의 주요 카테고리는 무엇이며 모달리티와 다운스트림 능력에서 어떻게 차이가 있는가?
• RQ2 RSFM 개발에 사용된 데이터세트와 사전 학습 전략은 무엇이며 이들이 다운스트림 성능에 어떤 영향을 미치는가?
• RQ3 RS 데이터에 파운데이션 모델을 적용하는 데 있어 주요 도전과제는 무엇이며 미래 연구에 기대되는 방향은 무엇인가?
• RQ4 장면 분류, 분할, 탐지, 변화 탐지, VQA 등 일반적인 RS 태스크에서 RSFM의 성능은 어떻게 나타나는가?
• RQ5 다양한 EO 응용을 위한 RSFM 발전을 위해 어떤 연구 방향이 권고되는가.

주요 결과

• RSFMs는 VFMs, VLMs, LLMs 및 기타 RSFMs로 분류되며, 각자는 고유한 데이터 모달리티와 태스크를 가진다.
• 더 크고 다양한 RS 사전 학습 데이터세트로의 경향이 있으며 자가감독 학습의 활용이 증가하고 있지만 규모 측면에서 일반 도메인 FM에 비해 여전히 뒤처진다.
• RS 데이터는 자연 이미지와의 도메인 차이를 가지며 제로샷 전이의 도전에 직면하고 전문화된 적응이 필요하다.
• SAM 및 기타 분할 지향 도구가 모달리티 간 프롬프트 가능 분할에 RS에 관련된 것으로 논의된다.
• 본 고찰은 사전 학습에 사용된 여러 RS 데이터세트를 요약하고 센서 모달리티와 태스크에 걸쳐 RSFM을 벤치마크한다.
• 향후 방향에는 RS 특화 아키텍처 개선, 다중 모달 통합, 확장 가능한 RSFM 사전 학습이 포함된다.