[論文レビュー] Navigating the Noise: Bringing Clarity to ML Parameterization Design with O(100) Ensembles

Y. S. Lin, Sungduk Yu+7 more|arXiv (Cornell University)|Sep 28, 2023

Climate variability and models被引用数 5

ひとこと要約

本論文は、大規模な結合気候シミュレーションにおいて330の機械学習（ML）パrameterizationを訓練および評価するスケーラブルなソフトウェアパイプラインを導入し、オフライン性能がオンライン安定性をうまく予測しないことを明らかにした。主な改善策として、気候不変特徴変換、対流記憶の組み込み、拡張された入力ベクトルの導入があり、これらは総合的にオンライン誤差を低減し、シミュレーションの安定化をもたらした。これは、微細な設計の影響を検出するためには大規模なオンラインサンプリングが不可欠であることを示している。

ABSTRACT

Machine-learning (ML) parameterizations of subgrid processes (here of turbulence, convection, and radiation) may one day replace conventional parameterizations by emulating high-resolution physics without the cost of explicit simulation. However, uncertainty about the relationship between offline and online performance (i.e., when integrated with a large-scale general circulation model (GCM)) hinders their development. Much of this uncertainty stems from limited sampling of the noisy, emergent effects of upstream ML design decisions on downstream online hybrid simulation. Our work rectifies the sampling issue via the construction of a semi-automated, end-to-end pipeline for $\mathcal{O}(100)$ size ensembles of hybrid simulations, revealing important nuances in how systematic reductions in offline error manifest in changes to online error and online stability. For example, removing dropout and switching from a Mean Squared Error (MSE) to a Mean Absolute Error (MAE) loss both reduce offline error, but they have opposite effects on online error and online stability. Other design decisions, like incorporating memory, converting moisture input from specific humidity to relative humidity, using batch normalization, and training on multiple climates do not come with any such compromises. Finally, we show that ensemble sizes of $\mathcal{O}(100)$ may be necessary to reliably detect causally relevant differences online. By enabling rapid online experimentation at scale, we can empirically settle debates regarding subgrid ML parameterization design that would have otherwise remained unresolved in the noise.

研究の動機と目的

• ハイブリッド物理学-ML気候シミュレーションの進展を妨げるMLパrameterized気候モデルにおける不安定なオンライン性能の課題に対処すること。
• 入力特徴、記憶、アーキテクチャなどの設計選択がオンラインシミュレーションの安定性と精度に与える影響を体系的に評価すること。
• 結合気候モデルにおいて数100ものMLパrameterizationの訓練および評価を可能にするスケーラブルで自動化されたパイプラインの開発。
• オフラインとオンラインの誤差統計の乖離を定量化し、オフライン指標がオンライン性能をうまく予測できないことを示すこと。
• 長期気候シミュレーションにおける外挿誤差を低減し、モデルの安定性を向上させる強固な設計戦略の同定。

提案手法

• 結合気候モデル内に330種類の異なるニューラルネットワークパrameterizationを自動的に訓練およびデプロイできるエンドツーエンドでモジュール化され、再現性のあるソフトウェアパイプラインを開発した。
• 相対湿度（RH）、拡張ベクトル（EV）、パラメータライズドタイム（PT）、非因果的ベースラインの4つの構成について、体系的なハイパーパrameterおよびアーキテクチャ探索を実施した。
• 動的シミュレーションにおける外挿誤差を低減するため、気候不変特徴変換（例：混合比から相対湿度への変換）を適用した。
• オンラインシミュレーションにおける時間ステップ間の予測の一貫性を向上させるために、ニューラルネットワークに時間的記憶を組み込んだ。
• 大規模なオンラインアンサンブルシミュレーション（O(100)）を実施し、さまざまな構成間での下流性能をサンプリングおよび比較した。
• 統計的分析を用いてオンライン誤差分布を比較し、オフライン誤差が類似しているにもかかわらず、顕著な差異を検出できた。

Figure 1: Comparing offline test errors for subgrid heating (1a) and moistening (1b) tendencies, ranked by the overall validation mean-squared error, highlights the PT configuration’s consistent superiority over other setups (purple line). The ability to minimize offline test error is weakest for th

実験結果

リサーチクエスチョン

• RQ1 MLパrameterized気候シミュレーションにおいて、オフラインモデル性能はオンライン安定性とどの程度相関するか？
• RQ2 気候不変特徴変換は、オンラインシミュレーションにおける外挿誤差をどの程度低減するか？
• RQ3 ニューラルネットワークパrameterizationに時間的記憶を組み込むと、オンラインシミュレーションの安定性にどのような影響を与えるか？
• RQ4 入力特徴セット（例：拡張型対比して最小限の入力）の違いが、オンライン誤差の分散とモデルの信頼性に与える影響は何か？
• RQ5 MLパrameterizationの設計選択の性能への影響を信頼性を持って検出するには、どの程度のオンラインサンプリングスケールが必要か？

主な発見

• オフライン誤差はオンライン性能の予測に不十分であり、類似したオフライン指標を持つモデル間でも、オンライン誤差に顕著なばらつきが見られた。
• 入力特徴を気候不変に変換（例：混合比の代わりに相対湿度の使用）することで、外挿誤差が顕著に低減され、シミュレーションの安定性が向上した。
• ニューラルネットワークアーキテクチャに時間的記憶を組み込むことで、非因果的対照群に比べ、より一貫性があり安定したオンライン性能が得られた。
• 因果的に関連する変数を含むように入力特徴ベクトルを拡張することで、オンライン誤差が低減し、モデルの頑健性が向上した。
• 上位パフォーマンスを示すモデルの間で一貫してストラトスフィアバイアスが観測されたことから、特定の設計改善が求められる深刻な弱みが判明した。
• 設計選択の統計的影響を信頼性を持って検出するには、少なくとも330件のオンラインシミュレーション（O(100)アンサンブル）が必要であることが判明した。

Figure 2: 2a and 2b show histograms of the average temperature and humidity RMSE for neural network runs that did not crash. The legend in 2b indicates the number of plots that ran without crashing for each configuration. Both histograms include stratospheric error.