[論文レビュー] Explainable Offline-Online Training of Neural Networks for Parameterizations: A 1D Gravity Wave-QBO Testbed in the Small-data Regime

Hamid A. Pahlavan, Pedram Hassanzadeh+1 more|arXiv (Cornell University)|Sep 16, 2023

Meteorological Phenomena and Simulations参考文献 44被引用数 6

ひとこと要約

本研究では、気候モデルにおけるニューラルネットワークベースのパrameterizationのためのオフライン・オンライン学習戦略を提案する。18か月分の少量データで事前に学習させた12層のCNNは、現実的な準2年周期振動（QBO）のダイナミクスを生成できないが、時間平均QBO統計を用いたアンサンブルカルマン逆問題（EKI）による2層のオンライン再学習により、再び正確なダイナミクスが回復される。フーリエ解析により、ネットワークが重力波動のダイナミクスに一致する低域通過、高域通過、バンド通過フィルタを学習していることが明らかになった。

ABSTRACT

There are different strategies for training neural networks (NNs) as subgrid-scale parameterizations. Here, we use a 1D model of the quasi-biennial oscillation (QBO) and gravity wave (GW) parameterizations as testbeds. A 12-layer convolutional NN that predicts GW forcings for given wind profiles, when trained offline in a big-data regime (100-years), produces realistic QBOs once coupled to the 1D model. In contrast, offline training of this NN in a small-data regime (18-months) yields unrealistic QBOs. However, online re-training of just two layers of this NN using ensemble Kalman inversion and only time-averaged QBO statistics leads to parameterizations that yield realistic QBOs. Fourier analysis of these three NNs' kernels suggests why/how re-training works and reveals that these NNs primarily learn low-pass, high-pass, and a combination of band-pass filters, consistent with the importance of both local and non-local dynamics in GW propagation/dissipation. These findings/strategies apply to data-driven parameterizations of other climate processes generally.

研究の動機と目的

• 気候モデルにおけるスモールスケール過程のためのデータが乏しい物理学的制約付きニューラルネットワークパラメータライゼーションの訓練課題に対処すること。
• 少量データによるオフライン学習で生じる性能劣化を、ニューラルネットワークベースの重力波パラメータライゼーションにおいてオンライン再学習が是正できるかどうかを調査すること。
• オンライン学習に、高分解能時間系列データの代わりに時間平均の大規模統計を用いる可能性を検討すること。
• フーリエ解析を用いて、学習されたフィルタの機能的役割を理解し、ネットワークの挙動と物理的波動ダイナミクスを結びつけること。
• 物理学的初期化と効率的なアンサンブルサイズの組み合わせが、EKIを用いたオンライン学習の収束を改善できるかどうかを示すこと

提案手法

• 100年分の高精度な重力波駆動力データを用いて、12層の畳み込みニューラルネットワーク（CNN）をオフラインで学習させ、1次元モデルで現実的なQBOを再現すること。
• 18か月分のデータ（少量データ領域）での同じCNNの学習により、物理的に不自然なQBOが得られ、その後、アンサンブルカルマン逆問題（EKI）を用いたオンライン再学習を実施すること。
• オンラインEKI学習中に、完全な時間系列データを避けて、時間平均QBO統計（例：西風成分のプロファイル）のみを観測制約として使用すること。
• 訓練済みCNNのカーネルに対してフーリエ解析を実施し、支配的周波数フィルタ（低域通過、高域通過、バンド通過）を特定し、それらの物理的意味を解釈すること。
• 固定された200メンバーのアンサンブルサイズを用いて、CNNの2層のみを最適化するEKIを実行し、収束を改善するための物理学的初期化を適用すること。
• 再現性を確保するため、EKIにはオープンソースの EnsembleKalmanProcesses.jl、1D-QBOシミュレーションには qbo1d コードベースをそれぞれ使用すること

実験結果

リサーチクエスチョン

• RQ1 18か月分の少量データで学習したニューラルネットワークパラメータライゼーションが1次元QBOモデルで失敗した場合、時間平均統計を用いたオンライン再学習がその欠陥を是正できるか？
• RQ2 訓練済みニューラルネットワークが学習する周波数フィルタの種類は何か？ それらは重力波の伝播および減衰の物理的プロセスとどのように関連しているか？
• RQ3 深層ニューラルネットワークのパラメータ数に比例して、EKI学習における必要なアンサンブルメンバー数が増加するのか、それともネットワークの有効次元に制限されるのか？
• RQ4 ニューラルネットワーク重みの物理学的初期化が、EKIを用いたオンライン学習の収束性と成功確率を向上させられるか？
• RQ5 本研究のオフライン・オンライン学習戦略は、気候モデルにおける他のスモールスケールパラメータライゼーション問題へ一般化可能か？

主な発見

• 18か月分のデータ（少量データ領域）でオフライン学習した結果、物理的に不自然なQBOが得られた一方、100年分のデータで学習した場合、現実的なQBOダイナミクスが再現された。
• 時間平均QBO統計とEKIを用いた2層のオンライン再学習により、現実的なQBO挙動が回復され、オフライン・オンライン戦略の有効性が実証された。
• CNNカーネルのフーリエ解析により、低域通過、高域通過、バンド通過フィルタが学習されていることが判明し、重力波伝播における局所的および非局所的波動ダイナミクスの重要性と整合的であることが示された。
• ネットワークサイズが1000、5000、10000パラメータに変化しても、EKI収束には200アンサンブルメンバーで十分であった。これは、過剰パラメータ化が有効パラメータ空間次元を低下させることを示唆している。
• オンライン学習におけるネットワーク重みのランダム初期化では、95％以上のアンサンブルメンバーで失敗が生じたが、SpArKフレームワークのフィルタ解析に基づく物理学的初期化を適用した場合、正常な収束が達成された。
• 学習されたフィルタタイプ（例：低域通過、高域通過）に基づく物理学的初期化は、気候モデルにおける深層ニューラルネットワークのオンライン学習におけるEKI収束性向上と計算コスト低減に向けた有望な戦略である。