[논문 리뷰] Toward Foundation Models for Earth Monitoring: Proposal for a Climate Change Benchmark

Alexandre Lacoste, Evan David Sherwin외 10명|arXiv (Cornell University)|2021. 12. 01.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 메탄 검출,-flood 맵핑, 토양 피복 분할과 같은 다양한 원격 감지 작업을 활용하여 지구 모니터링을 위한 기초 모델 개발을 가속화하기 위한 기후 중심의 벤치마크를 제안한다. 표준화되고 레이블이 부여된 데이터셋과 개방형 평가 프로토콜을 통합함으로써 모델의 일반화 능력을 향상시키고 데이터 의존도를 줄이며, 편향과 높은 탄소 배출 등의 잠재적 위험을 사전에 완화하고자 한다.

ABSTRACT

Recent progress in self-supervision shows that pre-training large neural networks on vast amounts of unsupervised data can lead to impressive increases in generalisation for downstream tasks. Such models, recently coined as foundation models, have been transformational to the field of natural language processing. While similar models have also been trained on large corpuses of images, they are not well suited for remote sensing data. To stimulate the development of foundation models for Earth monitoring, we propose to develop a new benchmark comprised of a variety of downstream tasks related to climate change. We believe that this can lead to substantial improvements in many existing applications and facilitate the development of new applications. This proposal is also a call for collaboration with the aim of developing a better evaluation process to mitigate potential downsides of foundation models for Earth monitoring.

연구 동기 및 목표

• 지구 모니터링 분야에서 기초 모델에 대한 표준화된 평가가 부족하여 기후 관련 응용 분야에서의 진전이 제한되고 있는 문제를 해결한다.
• 자연어 처리와 컴퓨터 비전 분야에서의 성공과 유사하게 원격 감지 데이터에 특화된 대규모 기초 모델 개발을 촉진한다.
• 초기 단계부터 개방적이고 투명한 평가를 통해 편향과 높은 탄소 배출 등의 잠재적 사회적 위험을 사전에 완화한다.
• 다양한 기후 관련 작업에서의 모델 성능 측정과 비교를 가능하게 하기 위해 체계적이고 공통의 벤치마크를 제공함으로써 과학적 진전을 촉진한다.
• 공동체의 협력을 통해 데이터셋을 정리하고 위험 요소를 식별하며 평가 절차를 개선하여 강건하고 공정한 모델 개발을 장려한다.

제안 방법

• 기후 관련 응용에 중점을 두고 분류, 분할, 회귀 등의 다양한 하류 작업을 기존 데이터셋에서 통합한다.
• 재현성과 공정성을 보장하기 위해 표준화된 지표를 사용하는 투명하고 오픈소스 평가 절차를 정의한다.
• 자기지도 학습을 지원하기 위해 시간적·공간적 일관성이 확보된 다중스펙트럼, SAR, 고스펙트럼 위성 데이터를 우선시한다.
• CalMethane Survey, SEN12-FLOOD, AquaSat와 같은 기존의 레이블이 부여된 데이터셋을 활용하여 벤치마크의 핵심 학습 및 평가 데이터를 구성한다.
• 탄소 중립 데이터 센터, 효율적인 코드 설계, 하드웨어 최적화, 배출량 보고서 작성 등의 권고를 통해 지속 가능한 학습 관행을 장려한다.
• 연구자들이 데이터셋 기여, 편향 식별, 평가 프로토콜 개선을 개방적이고 다학제적 방식으로 수행할 수 있는 협업 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 표준화된 벤치마크는 지구 모니터링을 위한 기초 모델 개발과 평가에 어떻게 기여할 수 있는가?
• RQ2 기후 응용 분야에서 기초 모델의 사전 훈련과 일반화에 가장 적합한 원격 감지 작업은 어떤 것인가?
• RQ3 편향과 높은 탄소 배출 등의 사회적 위험을 사전에 식별하고 감소시키기 위해 평가 절차는 어떻게 설계되어야 하는가?
• RQ4 지구 관측 데이터로 훈련된 기초 모델은 메탄 검출이나 홍수 맵핑과 같은 기후 관련 작업에서 기존 모델보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ5 공동체 주도의 데이터 정리와 개방형 평가의 역할은 지구 모니터링 AI의 공정성과 지속 가능성 확보에 어떻게 기여할 수 있는가?

주요 결과

• 벤치마크 제안은 다양한 기후 응용 분야에서 기초 모델의 체계적이고 투명한 평가를 가능하게 하여 과학적 재현성과 진전을 향상시킨다.
• 지구 관측 데이터로 훈련된 기초 모델은 대규모 레이블이 부여된 데이터셋이 필요한 양을 크게 줄여 훈련 분포를 초월한 일반화 능력을 향상시킨다.
• 기존의 기초 모델인 CLIP는 훈련 데이터의 불일치(예: 지면 기반 RGB 이미지 대비 위성 기반 다중스펙트럼 영상)로 인해 지구 모니터링 작업에서 성능이 열등하다.
• 제안된 벤치마크는 农업, 수질, 메탄 검출, 홍수 맵핑을 포함한 8개 이상의 정착된 데이터셋을 포함하며, 각각 레이블이 부여된 예시와 정의된 평가 프로토콜을 제공한다.
• 재생 가능 에너지원으로 구동되는 데이터 센터와 효율적인 모델 설계와 같은 지속 가능한 관행은 학습 배출량을 최대 50배까지 감소시켜 환경 비용을 완화할 수 있다.
• 특히 고해상도 또는 빈도 높은 이미지 접근이 어려운 지역에서 데이터 커버리지 및 해상도의 편향을 식별하기 위해 공동체 협력이 필수적이다.