[논문 리뷰] Vision Foundation Models in Remote Sensing: A Survey

Siqi Lu, Junlin Guo외 6명|arXiv (Cornell University)|2024. 08. 06.

Advanced Computational Techniques and Applications인용 수 7

한 줄 요약

원격 탐지에서의 비전 파운데이션 모델(2021–2024)에 대한 포괄적 고찰로, 아키텍처, 사전 학습 데이터/방법, 데이터셋 및 컴퓨터 비전 및 도메인 특화 작업 전반의 성능 추세를 자세히 다룹니다.

ABSTRACT

Artificial Intelligence (AI) technologies have profoundly transformed the field of remote sensing, revolutionizing data collection, processing, and analysis. Traditionally reliant on manual interpretation and task-specific models, remote sensing research has been significantly enhanced by the advent of foundation models-large-scale, pre-trained AI models capable of performing a wide array of tasks with unprecedented accuracy and efficiency. This paper provides a comprehensive survey of foundation models in the remote sensing domain. We categorize these models based on their architectures, pre-training datasets, and methodologies. Through detailed performance comparisons, we highlight emerging trends and the significant advancements achieved by those foundation models. Additionally, we discuss technical challenges, practical implications, and future research directions, addressing the need for high-quality data, computational resources, and improved model generalization. Our research also finds that pre-training methods, particularly self-supervised learning techniques like contrastive learning and masked autoencoders, remarkably enhance the performance and robustness of foundation models. This survey aims to serve as a resource for researchers and practitioners by providing a panorama of advances and promising pathways for continued development and application of foundation models in remote sensing.

연구 동기 및 목표

• 2021년 6월부터 2024년 6월 사이에 원격 탐지에서 발표된 파운데이션 모델에 대한 구조화된 개요를 제공한다.
• 컴퓨터 비전 작업과 도메인 특화 작업으로 모델을 분류하고, 아키텍처, 데이터셋 및 사전 학습 방법을 요약한다.
• 원격 탐지에서 파운데이션 모델의 성능 추세, 도전 과제 및 향후 방향을 강조한다.

제안 방법

• 다운스트림 작업(장면 분류, 세분화, 탐지, 변화 탐지)별로 파운데이션 모델을 검토하고 분류한다.
• 아키텍처(ResNet, ViT, Swin 등), 사전 학습 데이터셋 및 자기지도 학습 방법(대조 학습, MAE, DINO)을 요약한다.
• 사전 학습 전략과 RS 작업에서의 강건성 및 일반화에 대한 영향 비교.
• 일반적으로 사용되는 RS 데이터셋 및 데이터 모달리티(다중스펙트럴, SAR, 하이퍼스펙트럴, 시계열 데이터)에 대해 논의한다.
• 대규모 사전 학습 RS 모델의 격차, 도전 과제 및 향후 방향을 식별한다.

실험 결과

연구 질문

• RQ1 원격 탐지에서의 비전 파운데이션 모델의 현재 구도와 경향은 무엇인가(2021–2024)?

주요 결과

• 자기지도 학습(예: 대조 학습, MAE, DINO)으로 사전 학습된 파운데이션 모델은 RS 작업에서 성능과 강건성을 향상시킨다.
• 트랜스포머 및 ViT 기반 백본이 CNN(ResNet)과 함께 RS 파운데이션 모델에서 두드러지게 부상했다.
• 다양한 RS 데이터셋(예: BigEarthNet, SEN12MS, fMoW, MillionAID)이 사전 학습 및 평가를 지원하여 지리적 및 모달리티 커버리지를 넓힌다.
• 모델은 점점 더 여러 다운스트림 작업(장면 분류, 의미적 세분화, 객체 탐지, 변화 탐지)에서 평가되며, 특정 작업에서 다수 연구가 최첨단 벤치마크를 달성한다.
• 도전 과제에는 고품질의 다양한 데이터 필요성, 막대한 계산 자원, RS 특성에 대한 도메인 적응이 포함된다.