[논문 리뷰] On the Foundations of Earth and Climate Foundation Models

Xiao Xiang Zhu, Zhitong Xiong외 8명|arXiv (Cornell University)|2024. 05. 07.

Geological Studies and Exploration인용 수 16

한 줄 요약

열한 가지 필수 기능을 갖춘 이상적인 지구 및 기후 기반 모델을 정의하고, 최첨단 현황을 조사하며, 통합되고 지속 가능한 지구 시스템 FM으로 나아가기 위한 데이터 및 설계 방향을 개요한다.

ABSTRACT

Foundation models have enormous potential in advancing Earth and climate sciences, however, current approaches may not be optimal as they focus on a few basic features of a desirable Earth and climate foundation model. Crafting the ideal Earth foundation model, we define eleven features which would allow such a foundation model to be beneficial for any geoscientific downstream application in an environmental- and human-centric manner.We further shed light on the way forward to achieve the ideal model and to evaluate Earth foundation models. What comes after foundation models? Energy efficient adaptation, adversarial defenses, and interpretability are among the emerging directions.

연구 동기 및 목표

• 다양한 데이터 모달리티와 다운스트림 태스크를 처리할 수 있는 통합 지구 및 기후 기초 모델의 필요성을 촉진한다.
• EO, 기상 및 기후 영역에서 FM 설계를 안내하기 위한 구체적 필수 및 바람직한 특징의 집합을 정의한다.
• 현재의 지구 및 기후 FM을 이들 특징에 비추어 평가하고 향후 연구의 격차와 우선순위를 식별한다.
• 이상적이고 탄소를 최소화하며 물리적으로 일관된 FM을 구현하기 위한 데이터 구성 및 모델 설계 원칙을 제안한다.
• 지구 FM에 대한 표준화된 벤치마크를 향한 평가 벤치마크 및 진행 상황을 논의한다.

제안 방법

• 이상적인 지구 및 기후 기초 모델을 위한 프레임워크와 기능 체크리스트(열한 가지 특징)를 제안한다.
• 대표적인 EO 및 기후 FM을 검토하고 제시된 특징과의 정렬 여부를 평가한다.
• 이상적 FM을 향한 데이터 중심 및 모델 중심 경로를 개요한다(데이터 다양성, 지오로케이션, 다중 모달 융합 포함).
• 동적 인코더, 시공간 모델링, 지리적 전문가의 혼합(GEO MoE) 등의 아키텍처 및 학습 전략을 제안한다.
• EO, 기상, 기후 모달리티 전반에 걸친 표준화된 과제의 필요성과 평가 벤치마크에 대해 논의한다.

실험 결과

연구 질문

• RQ1 이상적인 지구 및 기후 기초 모델이 가져야 할 핵심 기능은 무엇인가?
• RQ2 현재의 지구 및 기후 기초 모델이 EO, 기상, 기후 영역에서 이들 기능에 비추어 얼마나 부합하는가?
• RQ3 포괄적이고 확장 가능하며 탄소를 최소화한 지구 FM을 구현하기 위해 필요한 데이터 및 아키텍처 설계 전략은 무엇인가?
• RQ4 다양한 과제와 모달리티에 걸쳐 지구 FM을 포괄적으로 평가하기 위한 프레임워크와 벤치마크는 무엇인가?

주요 결과

• 현재 모델과 이상적인 FM 간의 차이가 있으며, 많은 모델이 필수적 8개 특징 중 두세 개만 다루고 있다.
• EO 기초모델은 더 성숙해 지오로케이션 임베딩과 시간 특징을 가능하게 하는 경우가 많아 왔지만, 기후 FM은 고해상도 다중 센서 통합 및 물리적 일관성 면에서 뒤처져 있다.
• 대표적 EO 및 기후 FM은 특징 범위가 다양하며 발전은 보였지만 통일되고 완전하게 특징이 갖춰진 FM은 아니다.
• 향후 방향은 포괄적 데이터 큐레이션, 동적 인코딩, 시공간 다중 스케일 모델링, GeoMoE, 지속적 사전 학습, 불확실성 정량화, 물리 정합성 및 언어 정합성을 강조한다.
• 벤치마크 필요성이 확인되었다: 데이터 다양성, 대표적 과제, 그리고 EO, 기상, 기후 데이터 간 구성요소 간 상호 작용.