[論文レビュー] Transfer Learning for Emulating Ocean Climate Variability across $CO_2$ forcing

Surya Dheeshjith, Adam Subel+5 more|arXiv (Cornell University)|May 28, 2024

Atmospheric and Environmental Gas Dynamics被引用数 4

ひとこと要約

本論文は、変動するCO₂強制下における多年にわたるスケールの全球表層海洋変動を機械学習エミュレータで一般化するための転移学習フレームワークを提案する。産業革命前（PI）気候データで訓練されたConvNeXtおよびTransformerアーキテクチャを用い、2×CO₂強制データのわずか1%を微調整することで、温暖化シナリオ下での水温確率密度関数（PDF）、ニーニョ3.4およびAMOインデックスの正確なエミュレーションが可能となり、同時に大気のノイズが入力標準偏差の25%まである場合でもエミュレータの頑健性が保たれる。

ABSTRACT

With the success of machine learning (ML) applied to climate reaching further every day, emulators have begun to show promise not only for weather but for multi-year time scales in the atmosphere. Similar work for the ocean remains nascent, with state-of-the-art limited to models running for shorter time scales or only for regions of the globe. In this work, we demonstrate high-skill global emulation for surface ocean fields over 5-8 years of model rollout, accurately representing modes of variability for two different ML architectures (ConvNext and Transformers). In addition, we address the outstanding question of generalization, an essential consideration if the end-use of emulation is to model warming scenarios outside of the model training data. We show that 1) generalization is not an intrinsic feature of a data-driven emulator, 2) fine-tuning the emulator on only small amounts of additional data from a distribution similar to the test set can enable the emulator to perform well in a warmed climate, and 3) the forced emulators are robust to noise in the forcing.

研究の動機と目的

• 機械学習を用いて5〜8年スケールの全球表層海洋場の高精度なエミュレータを開発すること。
• 訓練分布外の温暖化シナリオにおける海洋気候変動のエミュレーションにおける一般化の課題に対処すること。
• ロールアウト中における大気境界条件のノイズに対するエミュレータの頑健性を評価すること。
• 最小限の新しいレジームからの追加データ（温暖化シナリオ）を用いた転移学習が、分布外設定におけるエミュレータ性能を顕著に向上させ得るかを調査すること。

提案手法

• UNet、ConvNeXt UNet、Swin Transformerなどの機械学習モデルを、1日間隔で大気境界条件（τu、τv、Tatm）から表面海洋状態（u、v、T）を自己回帰的に予測するように訓練した。
• GFDL CM2.6気候モデルのシミュレーション出力（20年分の産業革命前コントロール（PI）、20年分の一時的2×CO₂、6年分の2×CO₂+（4倍））を用い、1°解像度に再格子化した。
• PIで訓練されたエミュレータを、2×CO₂走行からの小さな連続サンプル（1%、5%、25%）で微調整することで、2×CO₂+シナリオへの一般化を向上させる転移学習を適用した。
• 主要気候指標として、ニーニョ3.4およびAMOインデックス、水温確率密度関数（PDF）、表面運動エネルギーや温度のバイアスマップを用いてモデル性能を評価した。
• ロールアウト中にガウスノイズ（ε = 0.05、0.25、1.0）を境界条件に注入することで、大気ノイズに対する頑健性を評価した。
• スキル、バイアス、変動表現の忠実度を定量化するために、2×CO₂+走行からの真値とモデル出力を比較した。

Figure 1: Model skill in reproducing the PDF of temperature. (a) Comparison of the PDF from model datasets; (c) Skill for different architectures for models trained and tested on PI data (in-distribution); (b) Skill for ML models trained on PI and tested on 2xCO2 (out-of-distribution generalization

実験結果

リサーチクエスチョン

• RQ1 産業革命前気候データで訓練された機械学習エミュレータは、一時的2×CO₂強制下でも正確に全球表層海洋変動を再現できるか？
• RQ2 温暖化シナリオ（2×CO₂+）への一般化には、膨大な再訓練が必要か、それとも新しいレジームからの最小限のデータで転移学習を適用するだけで十分か？
• RQ3 2×CO₂シナリオからの微調整データ量が、2×CO₂+テスト分布におけるエミュレータ性能にどのように影響するか？
• RQ4 長期的ロールアウト中に大気境界強制のノイズに対して、エミュレータはどの程度頑健か？
• RQ5 同様の転移学習アプローチは、パラクライミティック遷移のような他の気候レジームシフトに対しても一般化可能か？

主な発見

• 産業革命前（PI）データのみで訓練されたエミュレータは、2×CO₂+強制下で水温確率密度関数（PDF）を再現できず、大きなバイアスを示し、分布外一般化が著しく劣っていることが判明した。
• 2×CO₂データのわずか1%（40サンプル）を用いた微調整により、表面水温の寒冷バイアスが顕著に低減され、水温PDFの忠実度が向上したが、データ量が少ない場合にわずかな過適合が生じる可能性があった。
• 微調整データ量を5%（200サンプル）および25%（1000サンプル）に増加させることで、ニーニョ3.4およびAMOインデックスといった主要気候インデックスの再現精度がさらに向上し、バイアスが低減された。
• ConvNeXt UNetモデルは、大気境界条件にノイズが入っても、寒冷バイアスが25%の入力標準偏差までほとんど変化せず、ニーニョ3.4およびAMOインデックスの再現に高いスキルを維持した。
• ノイズレベルが100%（入力標準偏差と同等）に達すると、水温および運動エネルギーに顕著なバイアスが生じ、水温PDFは真値から乖離したが、大規模な変動シグナルは依然として検出可能であった。
• 最高性能を示したエミュレータは、複数の指標においてもデケイドスケールの海洋変動を捉えるスキルを保持しており、新しい気候レジームからの最小限のデータを用いた転移学習が、頑健で高忠実度のエミュレーションを可能にすることを示した。

Figure 2: ML Model skill in reproducing key components of climate variability. Panels a-c are for the monthly rolling mean time series of the Nino 3.4 index. Panels d-e for the monthly rolling mean time series of the AMO index. Left and middle columns are ML models trained on PI control data, and te