[논문 리뷰] MultiEarth 2023 -- Multimodal Learning for Earth and Environment Workshop and Challenge

Miriam Cha, Gregory Angelides외 7명|arXiv (Cornell University)|2023. 06. 07.

Seismology and Earthquake Studies인용 수 4

한 줄 요약

이 논문은 아마존 우림 지역의 지구 및 환경 모니터링을 위한 다중모달 위성 영상 기반으로, CVPR 워크숍 및 챌린지인 MultiEarth 2023을 제시한다. 이는 정제된 세트의 정렬된 심포니-1, 심포니-2, 랜드스트-5 및 랜드스트-8 영상과 삼림 벌채 및 화재 레이블을 포함한 데이터셋을 사용하여, 다양한 조건에서 생태계 모니터링을 위한 다중모달 학습 모델의 강력한 벤치마크를 가능하게 한다. 주요 하위챌린지로는 화재 탐지, 삼림 벌채 추정, 환경 추세 예측, SAR에서 광학 영상으로의 변환 등이 포함된다.

ABSTRACT

The Multimodal Learning for Earth and Environment Workshop (MultiEarth 2023) is the second annual CVPR workshop aimed at the monitoring and analysis of the health of Earth ecosystems by leveraging the vast amount of remote sensing data that is continuously being collected. The primary objective of this workshop is to bring together the Earth and environmental science communities as well as the multimodal representation learning communities to explore new ways of harnessing technological advancements in support of environmental monitoring. The MultiEarth Workshop also seeks to provide a common benchmark for processing multimodal remote sensing information by organizing public challenges focused on monitoring the Amazon rainforest. These challenges include estimating deforestation, detecting forest fires, translating synthetic aperture radar (SAR) images to the visible domain, and projecting environmental trends. This paper presents the challenge guidelines, datasets, and evaluation metrics. Our challenge website is available at https://sites.google.com/view/rainforest-challenge/multiearth-2023.

연구 동기 및 목표

• 다양한 원격 감시 데이터 소스를 통합함으로써 환경 모니터링을 위한 다중모달 표현 학습을 발전시키는 것.
• 스케일러블 기계 학습 방법을 통해 아마존 우림 지역의 삼림 벌채 및 산불과 같은 중요한 생태학적 과제를 해결하는 것.
• 정렬된 SAR, 광학 영상 및 삼림 벌채 및 화재 사건의 레이블을 포함한 연속적인 시계열 데이터셋을 코딩하여 다중모달 원격 감시에 대한 공개 벤치마크를 구축하는 것.
• 표준화된 메트릭과 챌린지 프로토콜을 사용하여 다양한 환경 조건에서 모델의 강력한 평가를 가능하게 하는 것.
• 공동 도전 프레임워크와 개방형 데이터 인fra를 통해 지구 과학자들과 기계 학습 연구자들 간의 협력을 촉진하는 것.

제안 방법

• 챌린지는 심포니-1(SAR), 심포니-2, 랜드스트-5 및 랜드스트-8 영상의 다중모달 데이터셋을 사용하며, SAR와 광학 영상 쌍 간의 시간적 정렬이 7일 이내로 이루어진다.
• SAR에서 EO 영상으로의 변환을 위해, 모델은 단일 SAR 입력(VV 및 VH 밴드)에서 공간적 및 시간적 정렬 조건 하에 세 가지 가능한 RGB 광학 영상(B4, B3, B2 밴드)을 생성하도록 훈련된다.
• 영상 변환 평가에서는 생성된 영상과 진짜 광학 영상 간의 최소 L2 거리의 합을 계산하는 메트릭을 사용한다: $\sum_{j} \min_{i} \| f(\mathbf{x})_i - \mathbf{y}_j \| $, 이는 정확성과 다양성을 동시에 촉진한다.
• 참가자들은 5,000개의 테스트 샘플에 대해 각각 15,000개의 출력 영상(각 SAR 입력당 3개)을 생성해야 하며, 특정 파일 이름 규칙과 데이터 형식 표준(NETCDF 또는 TIFF, uint16 dtype)을 준수해야 한다.
• 데이터셋은 5,000개의 SAR 영상(2,500개의 VV 및 2,500개의 VH)을 포함하며, 지리적 좌표와 타임스탬프가 함께 제공되어 시계열 모델링이 가능하다.
• 연구자들이 데이터 검색, 필터링 및 처리를 보다 쉽게 수행할 수 있도록 공개 API와 튜토리얼을 제공하여 재현 가능성과 접근성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 다중모달 딥 러닝 모델은 융합된 SAR와 광학 원격 감시 데이터를 통해 삼림 화재를 얼마나 효과적으로 탐지할 수 있는가?
• RQ2 기상 및 조명 조건이 다양할 때, 다중모달 원격 감시 입력으로부터 삼림 벌채를 얼마나 정확하게 추정할 수 있는가?
• RQ3 생성 모델은 아마존 우림 전역에서 SAR 입력으로부터 현실적이고 다양한, 시간적으로 일관된 광학 영상을 학습하여 재현할 수 있는가?
• RQ4 과거의 다중모달 시계열 데이터를 사용하여 모델은 아마존 우림의 미래 환경 상태를 얼마나 잘 예측할 수 있는가?
• RQ5 최신 기술의 다중모달 표현 학습 모델은 센서 이질성과 시간적 불일치와 같은 지구 관측 데이터의 고유한 과제를 얼마나 잘 처리할 수 있는가?

주요 결과

• MultiEarth 2023 챌린지는 심포니-1, 심포니-2, 랜드스트-5 및 랜드스트-8의 정렬된 다중모달 원격 감시 영상 데이터를 포함한 종합적인 벤치마크 데이터셋을 제공하며, 아마존 우림 지역에 연속적인 시간 커버리지를 제공한다.
• 데이터셋은 5,000개의 테스트 샘플을 포함하며, 각 SAR 영상은 평균적으로 7일 이내에 수집된 세 개의 EO 영상과 연관되어 있다.
• SAR에서 EO 영상으로의 변환 하위챌린지는 각 SAR 입력당 세 개의 고해상도 광학 영상 생성을 요구하며, 정확성과 다양성을 최소 거리 메트릭을 기반으로 평가한다.
• 챌린지는 NETCDF와 TIFF 두 가지 데이터 형식을 지원하며, 일관된 모델 평가를 보장하기 위해 표준화된 파일명 규칙과 데이터 타입(uint16)을 사용한다.
• 데이터셋은 삼림 벌채 및 삼림 화재의 진짜 레이블을 포함하고 있어, F1 스코어, IoU 및 픽셀 정확도 등의 메트릭을 사용하여 핵심 생태학적 과제에서의 성능 평가가 가능하다.
• 연구자들이 데이터 접근 및 처리를 보다 쉽게 할 수 있도록 공개 API와 튜토리얼을 제공하여 지구 관측 및 기계 학습 분야의 연구자들이 접근하기 위한 장벽을 낮춘다.