[論文レビュー] ClimART: A Benchmark Dataset for Emulating Atmospheric Radiative Transfer in Weather and Climate Models

Salva Rühling Cachay, Venkatesh Ramesh+3 more|arXiv (Cornell University)|Nov 29, 2021

Meteorological Phenomena and Simulations被引用数 10

ひとこと要約

ClimARTは、現在、前産業、および将来の気候状態の下で大気放射移動のサンプルを1000万件以上含む大規模かつ公開可能なベンチマークデータセットを提供し、気候モデルの物理的プロセスの機械学習（ML）エミュレーションを加速する。このデータセットにより、MLモデルの厳密な評価が可能となり、構造化されたアーキテクチャ（例：GraphNets や CNN）が標準的なMLPよりも、特に極端な気候条件下で顕著に優れた分布外一般化性能を示すことが明らかになった。将来の気候条件下では、RMSEが100を超えるのに対し、GraphNets や CNN では約30にまで低下した。

ABSTRACT

Numerical simulations of Earth's weather and climate require substantial amounts of computation. This has led to a growing interest in replacing subroutines that explicitly compute physical processes with approximate machine learning (ML) methods that are fast at inference time. Within weather and climate models, atmospheric radiative transfer (RT) calculations are especially expensive. This has made them a popular target for neural network-based emulators. However, prior work is hard to compare due to the lack of a comprehensive dataset and standardized best practices for ML benchmarking. To fill this gap, we build a large dataset, ClimART, with more than \\emph{10 million samples from present, pre-industrial, and future climate conditions}, based on the Canadian Earth System Model. ClimART poses several methodological challenges for the ML community, such as multiple out-of-distribution test sets, underlying domain physics, and a trade-off between accuracy and inference speed. We also present several novel baselines that indicate shortcomings of datasets and network architectures used in prior work. Download instructions, baselines, and code are available at: https://github.com/RolnickLab/climart

研究の動機と目的

• 天気および気候モデリングにおけるMLエミュレーターベンチマーク用に標準化され、包括的なデータセットが不足している問題に対処すること。
• 歴史的（1850–1852年）および将来の（2097–2099年）気候状態を含む、前産業的および将来の気候状態を含む多様な気候条件におけるMLモデルの公平な比較を可能にすること。
• コードとベースラインを併記したスケーラブルでドキュメント化が整ったデータセットを提供することで、ML研究者が気候科学に貢献する障壁を低減すること。
• 特に極端な大気条件下での一般化性能と物理的一致性に欠ける既存のMLモデルやデータセットの限界を特定すること。
• 気候関連のタスクにおける精度-速度トレードオフと物理的制約を考慮した設計の強調により、ML分野における方法論的イノベーションを促進すること。

提案手法

• データセットClimARTは、カナダ地球システムモデル（CanESM）から抽出され、現在の気候、前産業的気候、および将来の気候状態の下での大気放射移動をシミュレートしている。
• ガス濃度、温度、気圧、地表面アルベドを含む詳細な大気プロファイルを有する1000万件以上のサンプルを含み、多様な放射フラックス状態を表現している。
• 分布内および分布外（OOD）のテストセットにデータセットを分割しており、OOD一般化評価のための歴史的（1850–1852年）および将来の（2097–2099年）気候状態を含んでいる。
• 標準化された指標（RMSEとMBE）を用いて、MLP、CNN、GCN、GraphNetsなど複数のMLベースラインを訓練・評価している。評価は上向きおよび下向きフラックスを対象としている。
• CPUおよびGPU構成における推論速度をベンチマーク化し、バッチサイズ8192を用いて実世界での展開可能性を評価している。
• 物理的制約を考慮した設計は、基礎的な放射移動方程式を尊重する損失関数およびモデルアーキテクチャを用いて検討されている。

実験結果

リサーチクエスチョン

• RQ1 MLP、CNN、GraphNetなどの異なるニューラルネットワークアーキテクチャは、前産業的および将来の気候状態といった分布外（OOD）の気候状態において、どのように一般化するか？
• RQ2 特にGPUアクセラレーション下で、大気放射移動のMLエミュレータにおいて、推論速度と精度のトレードオフはどのようなものか？
• RQ3 CNN や GraphNet などの構造化モデルは、大気データにおける空間的および物理的依存関係を、完全結合MLPよりもどれほど効果的に捉えられるか？
• RQ4 物理的制約を考慮したニューラルネットワークコンponentsは、放射移動エミュレーションにおける一般化性能と物理的妥当性を向上させることができるか？
• RQ5 モデルの性能と耐性は、クリーンスカイ状態や極端なガス濃度条件を含む、さまざまな気候領域でどのように変化するか？

主な発見

• MLPモデルは将来の気候OODデータで著しく性能を低下させ、RMSEが100 W/m²を超えるが、GraphNetとCNNモデルはそれぞれRMSEが約30 W/m²および18 W/m²を維持している。
• GPU上での推論時間において、GraphNetモデルは非MLPモデルの中で最も速く、1スナップショットあたり0.1659秒を記録し、CPU上での物理ベースRTモデルをも上回った。
• GPU上では、MLPが1スナップショットあたりたった0.0016秒（バッチサイズ8192）で推論を完了し、物理ベースRTモデル（4CPUで3.3666秒）と比較して2000倍の高速化を達成した。
• CNNおよびGraphNetモデルはMLPよりも顕著に優れたOOD一般化性能を示しており、これはアーキテクチャに組み込まれたインダクティブバイアスが、強力な気候モデリングにおいて不可欠であることを示している。
• 物理ベースRTモデルは、CPU数を16から64に増やしても利得が著しく低下しており、直列実行におけるハードウェアのボトルネックが顕在している。一方、MLモデルはバッチ処理に適しており、スケーリングが効率的に行える。
• データセットは、限定的または簡略化されたデータ（例：アーバ・プラネット条件）で学習したモデルが、現実の大気変動には一般化できないことを明らかにした。これは、包括的で物理的に現実的なベンチマークの必要性を強調している。