[論文レビュー] Combining data assimilation and machine learning to estimate parameters of a convective-scale model

Stefanie Legler, Tijana Janjić|arXiv (Cornell University)|Sep 7, 2021

Meteorological Phenomena and Simulations参考文献 35被引用数 19

ひとこと要約

本研究では、データ同化（EnKF）とベイジアンおよび決定的ニューラルネットワークを組み合わせたハイブリッドフレームワークを提案し、疎でノイズの多い観測から対流スケールの浅い水モデルにおける不確実なパラメータを推定する。この手法は、パラメータと状態の関係を学習することで、特に降雨に関する状態推定誤差を低減し、ベイジアンニューラルネットワークが精度と不確実性の定量化の両面で決定的ネットワークを上回る。

ABSTRACT

Errors in the representation of clouds in convection-permitting numerical weather prediction models can be introduced by different sources. These can be the forcing and boundary conditions, the representation of orography, the accuracy of the numerical schemes determining the evolution of humidity and temperature, but large contributions are due to the parametrization of microphysics and the parametrization of processes in the surface and boundary layers. These schemes typically contain several tunable parameters that are either not physical or only crudely known, leading to model errors. Traditionally, the numerical values of these model parameters are chosen by manual model tuning. More objectively, they can be estimated from observations by the augmented state approach during the data assimilation. Alternatively, in this work, we look at the problem of parameter estimation through an artificial intelligence lens by training two types of artificial neural networks (ANNs) to estimate several parameters of the one-dimensional modified shallow-water model as a function of the observations or analysis of the atmospheric state. Through perfect model experiments, we show that Bayesian neural networks (BNNs) and Bayesian approximations of point estimate neural networks (NNs) are able to estimate model parameters and their relevant statistics. The estimation of parameters combined with data assimilation for the state decreases the initial state errors even when assimilating sparse and noisy observations. The sensitivity to the number of ensemble members, observation coverage, and neural network size is shown. Additionally, we use the method of layer-wise relevance propagation to gain insight into how the ANNs are learning and discover that they naturally select only a few gridpoints that are subject to strong winds and rain to make their predictions of chosen parameters.

研究の動機と目的

• 対流スケール数値予報モデルにおける poorly known または非物理的パラメータの推定という課題に取り組む。
• パラメータ推定のための従来の手動チューニングや拡張状態アプローチの限界を克服する。
• 不確実性の定量化と解釈可能性を提供する機械学習ベースのパラメータ推定手法を開発する。
• 疎でノイズの多い観測下でのモデルパラメータ推定において、ベイジアンニューラルネットワーク（BNNs）とアンサンブル点推定ニューラルネットワークの性能を調査する。
• レイヤーごとの関連性プロパゲーション（LRP）を用いて、ニューラルネットワークが大気状態変数に基づいてどのようにパラメータ予測を行うかを解釈する。

提案手法

• 調整可能なパラメータ（雨除去率 α、ジオポテンシャル閾値 φc、雨閾値 hr）を備えた1次元に修正された浅い水モデルを用いる。
• 実世界の観測制約を模倣するため、ノイズと疎な合成観測を生成する。
• 状態推定にアンサンブルカルマンフィルタ（EnKF）を適用し、大気状態（u, h, r）を入力とする。
• 観測状態を関数としてモデルパラメータを予測するベイジアンニューラルネットワーク（BNNs）と決定的ニューラルネットワーク（DNNs）を訓練する。
• ベイジアン近似を用いてパラメータ予測の不確実性を推定し、確率的解釈を可能にする。
• レイヤーごとの関連性プロパゲーション（LRP）を適用し、空間的および変数の関連性に基づいて特徴の重要性を可視化し、モデルの意思決定を解釈する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンおよび決定的ニューラルネットワークは、疎でノイズの多い観測から対流スケールモデルのパラメータを効果的に推定できるか？
• RQ2 データ同化と機械学習を組み合わせることで、パラメータ推定なしの標準的EnKFに比べ、状態推定の正確性がどのように向上するか？
• RQ3 パラメータ推定の正確性と不確実性の定量化という観点から、ベイジアンニューラルネットワークとアンサンブル点推定ネットワークの相対的性能はいかほどか？
• RQ4 どの大気変数（u, h, r）がニューラルネットワークのパラメータ予測において最も影響力が強く、これはパラメータごとにどのように変化するか？
• RQ5 レイヤーごとの関連性プロパゲーション（LRP）は、ニューラルネットワークがモデルパラメータを推定するためにどのように学習するかに関する意味のある物理的洞察を明らかにできるか？

主な発見

• ベイジアンニューラルネットワーク（BNNs）は、決定的ネットワークに比べて、パラメータ推定の平均二乗誤差（RMSE）を最大30％まで低減し、トレーニング時間とハイパーパrameterチューニングの必要性も低減した。
• ニューラルネットワークによるパラメータ推定の導入により、状態推定誤差が低減した。特に降雨（r）に関しては、RMSEが最大40％まで低下し、パラメータ推定なしのケースと比較して顕著な改善が得られた。
• LRP解析により、ニューラルネットワークが主に強い風速と降水量を示す少数のグリッドポイントに依存して予測を行うことが明らかになった。特に φc と hr の推定において顕著であった。
• 雨除去率 α の推定においては、流体の高さ h が最も関連性の高い変数であったが、φc と hr の推定では、LRPヒートマップにおいて雨（r）が支配的な入力特徴となった。
• すべてのパラメータを同時に推定する場合、関連性のあるグリッドポイントは少数に限られていたが、パラメータごとに別々のネットワークを訓練することで、より多くのグリッドポイントにわたる空間的関連性が得られた。
• BNNを用いた際、状態解析のアンサンブルスプレッドが上昇し、不確実性の定量化が向上した一方で、RMSEは低下し、全体的な性能が向上した。