[논문 리뷰] FoMo: Multi-Modal, Multi-Scale and Multi-Task Remote Sensing Foundation Models for Forest Monitoring

Nikolaos Ioannis Bountos, Arthur Ouaknine외 2명|arXiv (Cornell University)|2023. 12. 15.

Remote Sensing and LiDAR Applications인용 수 5

한 줄 요약

이 논문은 나무 종 분류를 위한 새로운 글로벌 TalloS 데이터셋을 포함한 15개의 다양한 원격 감지 데이터셋을 통합한, 다중 모odal, 다중 스케일, 다중 작업 기반의 숲 모니터링을 위한 최초의 벤치마크인 FoMo-Bench를 소개한다. 또한 스펙트럼 밴드를 마스킹하는 자동에코딩 방식으로 사전 훈련된 기초 모델인 FoMo-Net을 제안하여 다양한 숲 모니터링 벤치마크에서 분류, 세그멘테이션, 탐지 작업에 대해 강력한 zero-shot 및 파인튜닝 성능을 달성한다.

ABSTRACT

Forests are vital to ecosystems, supporting biodiversity and essential services, but are rapidly changing due to land use and climate change. Understanding and mitigating negative effects requires parsing data on forests at global scale from a broad array of sensory modalities, and using them in diverse forest monitoring applications. Such diversity in data and applications can be effectively addressed through the development of a large, pre-trained foundation model that serves as a versatile base for various downstream tasks. However, remote sensing modalities, which are an excellent fit for several forest management tasks, are particularly challenging considering the variation in environmental conditions, object scales, image acquisition modes, spatio-temporal resolutions, etc. With that in mind, we present the first unified Forest Monitoring Benchmark (FoMo-Bench), carefully constructed to evaluate foundation models with such flexibility. FoMo-Bench consists of 15 diverse datasets encompassing satellite, aerial, and inventory data, covering a variety of geographical regions, and including multispectral, red-green-blue, synthetic aperture radar and LiDAR data with various temporal, spatial and spectral resolutions. FoMo-Bench includes multiple types of forest-monitoring tasks, spanning classification, segmentation, and object detection. To enhance task and geographic diversity in FoMo-Bench, we introduce TalloS, a global dataset combining satellite imagery with ground-based annotations for tree species classification across 1,000+ categories and hierarchical taxonomic levels. Finally, we propose FoMo-Net, a pre-training framework to develop foundation models with the capacity to process any combination of commonly used modalities and spectral bands in remote sensing.

연구 동기 및 목표

• 다양한 데이터 모달리티, 스케일, 작업을 통합한 통합된 대규모 벤치마크가 부족한 숲 모니터링 분야의 문제를 해결하기 위해.
• TalloS를 통해 나무 종에 대한 글로벌 지리적 및 분류 커버리지의 확장을 도모하여 숲 모니터링 데이터셋의 질적 향상을 이루기 위해.
• 다양한 원격 감지 센서와 스펙트럼 밴드를 처리할 수 있는 능력을 갖춘 기초 모델인 FoMo-Net을 개발하기 위해.
• 다양한 원격 감지 데이터를 기반으로 한 자기지도 학습 사전 훈련을 통해 다중 작업, 다중 모달 숲 모니터링의 강력한 베이스라인을 수립하기 위해.
• 공개된 벤치마크와 모델을 통해 기계 학습 및 숲 생물학 연구자 간의 협업을 가능하게 하기 위해.

제안 방법

• FoMo-Bench는 위성, 항공, 인vent리 데이터를 포함하는 15개의 공개 데이터셋을 통합하여 다중 스펙트럼, RGB, SAR, LiDAR 모달리티를 다중 공간, 시간, 스펙트럼 해상도에서 활용한다.
• TalloS는 히에라르키컬 다중 분류를 위한 Sentinel-2, Sentinel-1, ERA-5 기상 데이터, 고도 정보 및 지리적 참조된 나무 종 레이블을 결합한 신규 글로벌 데이터셋으로 도입된다.
• FoMo-Net은 다양한 원격 감지 제품에서 무작위로 마스킹된 스펙트럼 밴드를 기반으로 한 마스킹 자동에코더(MAE) 목적함수를 사용해 사전 훈련된 비전 트랜스포머 기반 기초 모델이다.
• 사전 훈련 프레임워크는 모델이 손실된 스펙트럼 밴드를 재구성함으로써 센서 유형과 해상도에 관계없이 강력하고 일반화 가능한 표현을 학습할 수 있도록 한다.
• FoMo-Net의 파인튜닝은 토지 이용/토지 커버 분류, 나무 종 분류, 의미 세그멘테이션, 객체 탐지 등의 최종 작업에 대해 수행된다.
• 모델은 FoMo-Bench에서 여러 작업에 대해 평가되며, 전문화된 모델 및 무작위 베이스라인과의 성능 비교가 이루어진다.

Figure 1 : The Forest Monitoring Benchmark. FoMo-Bench is composed of fifteen datasets, including TalloS (ours), counting seven groups of data with distinct physical properties and three tasks. In parallel, we introduce FoMo-Net, a baseline forest foundation model pre-trained using a spectral band m

실험 결과

연구 질문

• RQ1 다중 모달리티, 다중 스케일, 다중 작업 원격 감지 데이터를 통합한 통합 벤치마크가 숲 모니터링 모델의 평가 및 개발을 향상시키는가?
• RQ2 스펙트럼 밴드 재구성 기반의 마스킹된 자동에코딩으로 사전 훈련된 기초 모델이 다양한 숲 모니터링 작업 및 센서 유형 간 일반화에 얼마나 효과적인가?
• RQ3 글로벌이고 세밀한 나무 종 데이터(예: TalloS)를 통합할 경우 종 분류 작업의 성능 향상 정도는 어떠한가?
• RQ4 FoMo-Net과 같은 일반 목적 기초 모델의 성능이 숲 모니터링의 분류, 세그멘테이션, 탐지 작업에서 전문화된 모델과 비교해 어떻게 되는가?
• RQ5 기초 모델이 저해상도 또는 나무 우산과 같은 복잡한 공간 구조를 갖는 객체 탐지 작업을 다룰 때의 주요 한계는 무엇인가?

주요 결과

• FoMo-Net은 TreeSatAI 데이터셋에서 전문화된 모델보다 객체 탐지의 마이크로-F1 스코어에서 뛰어난 성능을 보이며 강력한 일반화 능력을 입증한다.
• 토지 이용/토지 커버 및 다중 분류 나무 종 분류 작업에서 뚜렷한 성능 향상을 보이며, TalloS에서 무작위 베이스라인(≈1/1159)보다 훨씬 높은 마이크로-F1 스코어를 기록한다.
• FoMo-Net은 해상도 격차가 심한 상황에서도 전문화된 모델과 비교해 유사한 결과를 보이며 세그멘테이션 작업에 강력한 의미 기반 표현을 제공한다.
• 객체 탐지 작업에서는 전문화된 탐지기보다 성능이 떨어지며, 개별 나무의 국소화 및 분류에 어려움을 겪는다는 점을 시사한다.
• 마스킹된 자동에코딩을 통한 사전 훈련은 다양한 센서와 지상 샘플링 거리에서 손실된 스펙트럼 밴드를 재구성할 수 있게 하여 초해상도 응용 가능성을 시사한다.
• 모델의 성능은 나무 종 데이터의 클래스 불균형과 지리적 희소성으로 인해 제한을 받으며, 종 발생 지도와 같은 생물학적 사전 지식의 통합이 필요함을 시사한다.

(a) FoMo-Bench spatial distribution without TalloS.