[논문 리뷰] Transfer Learning for Emulating Ocean Climate Variability across $CO_2$ forcing

Surya Dheeshjith, Adam Subel외 5명|arXiv (Cornell University)|2024. 05. 28.

Atmospheric and Environmental Gas Dynamics인용 수 4

한 줄 요약

이 논문은 다양한 CO₂ 강제력 하에서 多년기 간역의 전역 해양 수면 변동성을 개선하기 위한 전이학습 프레임워크를 제안한다. 사전산업시대(PI) 기후 데이터로 훈련된 ConvNeXt 및 Transformer 아키텍처를 사용하여, 2×CO₂ 강제력 데이터의 1% 미만으로도 미세조정을 수행함으로써, 따뜻해진 시나리오 하에서 수온 PDF, 니뇨 3.4 및 AMO 지수를 정확하게 모의할 수 있으며, 입력 표준편차의 25% 이내의 대기 오염물질에 대해서도 모의기가 강건함을 입증한다.

ABSTRACT

With the success of machine learning (ML) applied to climate reaching further every day, emulators have begun to show promise not only for weather but for multi-year time scales in the atmosphere. Similar work for the ocean remains nascent, with state-of-the-art limited to models running for shorter time scales or only for regions of the globe. In this work, we demonstrate high-skill global emulation for surface ocean fields over 5-8 years of model rollout, accurately representing modes of variability for two different ML architectures (ConvNext and Transformers). In addition, we address the outstanding question of generalization, an essential consideration if the end-use of emulation is to model warming scenarios outside of the model training data. We show that 1) generalization is not an intrinsic feature of a data-driven emulator, 2) fine-tuning the emulator on only small amounts of additional data from a distribution similar to the test set can enable the emulator to perform well in a warmed climate, and 3) the forced emulators are robust to noise in the forcing.

연구 동기 및 목표

• 기계학습을 사용하여 5~8년 기간의 전역 해양 표면 필드를 고성능으로 모의하는 것을 목표로 한다.
• 훈련 분포 외의 따뜻한 기후 시나리오에서 해양 기후 변동성을 모의할 때의 일반화 문제를 해결하는 것.
• 롤아웃 중 대기 오염물질 경계 조건에 대한 모의기의 강건성을 평가하는 것.
• 최소한의 새로운 기후 조건에서의 추가 데이터를 사용한 전이학습이, 분포 외 설정에서 모의기 성능을 크게 향상시킬 수 있는지 조사하는 것.

제안 방법

• 매일 1일 간격으로 대기 경계 조건(τu, τv, Tatm)에서 표면 해양 상태(u, v, T)를 자동으로 예측하는 기계학습 모델(UNet, ConvNeXt UNet, Swin Transformer)을 자동으로 예측하도록 훈련시켰다.
• GFDL CM2.6 기후 모델 시뮬레이션의 일일 출력을 사용: 20년간 사전산업시대 제어(PI), 20년간 전이 2×CO₂, 6년간 2×CO₂+ (4배) 실행을 1° 해상도로 재격자화하였다.
• 전이학습을 적용하기 위해, 2×CO₂ 실행에서 소규모 연속 샘플(1%, 5%, 25%)을 사용하여 PI에서 훈련된 모의기를 미세조정하여 2×CO₂+ 시나리오로의 일반화를 향상시켰다.
• 핵심 기후 지표인 니뇨 3.4 및 AMO 지수, 수온 PDF, 표면 운동에너지 및 수온의 편향 지apap을 사용하여 모델 성능을 평가하였다.
• 롤아웃 중 경계 조건에 정규분포 오차(ε = 0.05, 0.25, 1.0)를 주입하여 대기 오염물질에 대한 강건성을 평가하였다.
• 모델 출력을 2×CO₂+ 실행의 기준값과 비교하여 변동성 표현의 정확도, 편향, 충실도를 정량화하였다.

Figure 1: Model skill in reproducing the PDF of temperature. (a) Comparison of the PDF from model datasets; (c) Skill for different architectures for models trained and tested on PI data (in-distribution); (b) Skill for ML models trained on PI and tested on 2xCO2 (out-of-distribution generalization

실험 결과

연구 질문

• RQ1 사전산업시대 기후 데이터로 훈련된 기계학습 모의기는 전이 2×CO₂ 강제력 하에서 전역 해양 수면 변동성을 정확히 재현할 수 있는가?
• RQ2 따뜻한 기후 시나리오(2×CO₂+)로의 일반화는 광범위한 재훈련이 필요한가, 아니면 새로운 제도에서 최소한의 데이터로 전이학습을 수행하는 것으로 충분한가?
• RQ3 2×CO₂ 제도에서의 미세조정 데이터 양이 2×CO₂+ 테스트 분포에서의 모의기 성능에 어떤 영향을 미치는가?
• RQ4 장기적인 롤아웃 중 대기 경계 조건의 오염물질에 대해 모의기는 어느 정도 강건한가?
• RQ5 동일한 전이학습 접근법은 백악기 전환과 같은 다른 기후 제도 전환에 일반화될 수 있는가?

주요 결과

• 사전산업시대(PI) 데이터로만 훈련된 모의기는 2×CO₂+ 강제력 하에서 수온 PDF를 재현하지 못하며, 큰 편향을 보이며, 분포 외 일반화가 열악함을 시사한다.
• 2×CO₂ 데이터의 1%만(40개 샘플)으로도 미세조정을 수행하면 수면 온도의 냉각 편향이 크게 감소하고 수온 PDF의 충실도가 향상되며, 낮은 데이터 볼륨에서 약간의 과적합 가능성이 있음.
• 미세조정 데이터를 5%(200개 샘플)와 25%(1000개 샘플)로 증가시키면 편향이 더욱 감소하고 니뇨 3.4 및 AMO와 같은 핵심 기후 지수를 재현하는 데 성능이 향상된다.
• ConvNeXt UNet 모델은 대기 경계 조건에 노이즈가 포함된 상황에서도 니뇨 3.4 및 AMO 지수를 높은 정확도로 재현하며, 입력 표준편차의 25% 이내에서는 성능 저하가 최소한이다.
• 100%의 노이즈(입력 표준편차와 동일)에서는 수온 및 운동에너지에 심각한 편향이 발생하고 수온 PDF가 기준값에서 벗어나지만, 대규모 변동성 신호는 여전히 감지 가능하다.
• 최고의 성능을 보인 모의기는 여러 지표에서 다년기 해양 변동성을 유지하며, 새로운 기후 제도에서 최소한의 데이터로 전이학습을 수행함으로써 강건하고 고정밀도의 모의가 가능함을 입증한다.

Figure 2: ML Model skill in reproducing key components of climate variability. Panels a-c are for the monthly rolling mean time series of the Nino 3.4 index. Panels d-e for the monthly rolling mean time series of the AMO index. Left and middle columns are ML models trained on PI control data, and te