[論文レビュー] Achieving Conservation of Energy in Neural Network Emulators for Climate Modeling

Tom Beucler, Stephan Rasp+2 more|arXiv (Cornell University)|Jun 15, 2019

Meteorological Phenomena and Simulations参考文献 9被引用数 103

ひとこと要約

論文は、気候モデルのニューラルエミュレータにおいて線形保全則を課す2つの方法を導入する：損失関数を制約することとネットワークアーキテクチャを制約すること。アーキテクチャ制約は保全を正確に達成し、気候変動シナリオへの一般化を改善する。

ABSTRACT

Artificial neural-networks have the potential to emulate cloud processes with higher accuracy than the semi-empirical emulators currently used in climate models. However, neural-network models do not intrinsically conserve energy and mass, which is an obstacle to using them for long-term climate predictions. Here, we propose two methods to enforce linear conservation laws in neural-network emulators of physical models: Constraining (1) the loss function or (2) the architecture of the network itself. Applied to the emulation of explicitly-resolved cloud processes in a prototype multi-scale climate model, we show that architecture constraints can enforce conservation laws to satisfactory numerical precision, while all constraints help the neural-network better generalize to conditions outside of its training set, such as global warming.

研究の動機と目的

• クラウド過程を含む気候モデルにおけるデータ駆動型ニューラルエミュレータの利用を動機づけるとともに、エネルギー/質量保全の問題に対処する。
• ニューラルネットワークに物理的制約を課す2つの方法を提案する：損失関数制約とアーキテクチャベースの保全層。
• prototype multi-scale climate model における convective parametrization に対して方法をデモンストレーションする。
• 制約が数値保全と温暖化シナリオへの一般化に与える影響を評価する。

提案手法

• 物理的制約を、入力 x と出力 y に関連する線形系 C[x; y] = 0 として定式化する。
• 標準的なニューラルネットワーク（NNU）をMSEを目的関数として訓練する。
• 損失にペナルティ P = ||C[x; y_NN]|| を加え、重み α で調整することで constrained-loss (NNL) を導入する。
• C[x; y_NN] = 0 をフォワードパス中に制約出力成分を解くことで強制する n つの保全層を持つ architecture-constrained networks (NNA) を導入する。
• 気候モデル内の雲過程のエミュレーションに適用し、5層・512ノードのネットワーク、Leaky ReLU 活性化、30分間データを3か月分訓練する。
• 検証データセットとして(+0K) および (+4K) の海洋世界の温暖化シナリオを用い、保全ペナルティとMSEに焦点を当てて評価する。

実験結果

リサーチクエスチョン

• RQ1 線形保全則を物理的気候過程のニューラルエミュレータに課すことはできるか。
• RQ2 損失関数ペナルティとアーキテクチャ制約層のどちらがエネルギー/質量を保持し、温暖化下での一般化を改善するか。
• RQ3 アーキテクチャを制約すると、温暖化の擾乱下で数値的保全と放射強制予測がより正確になるか。

主な発見

• アーキテクチャ制約付きネットワーク（NNA）は保全則を数値的精度で強制し、検証セット全体で保全ペナルティが非常に小さくなる。
• バランスのとれたまたは小さなペナルティ重みを持つ constrained loss も一般化を改善することがあり、温暖化シナリオで無制約モデルより優れることがある。
• すべての制約付きアプローチは、基準となる多変量回帰モデルを上回り、無制約ネットワークに比べてエネルギー/質量/放射保全違反を低減する。
• 物理的制約を組み込んだネットワークは、 unseen な温暖化条件 (+4K) へより良く一般化し、放射予測精度（外部長波放射のR^2）が高いことが示される。
• 損失関数で非常に小さなペナルティ（α ≈ 0.01）を用いた場合、参照データセットで最良の性能を達成しつつ、一般化特性も維持できた。