[論文レビュー] Learning Generalized Quasi-Geostrophic Models Using Deep Neural Numerical Models

Redouane Lguensat, Julien Le Sommer+3 more|arXiv (Cornell University)|Nov 20, 2019

Model Reduction and Neural Networks参考文献 29被引用数 10

ひとこと要約

本稿では、物理的数値スキームと学習可能なConvNetを統合するハイブリッドフレームワーク、Deep Neural Numerical Models (DNNMs) を提案する。準地軸的（QG）モデルにおける科的速度場への非線形補正を学習可能なConvNetが学習することで、標準的なQGモデルよりも優れた海面高（SSH）予測精度を達成し、学習されたフィルタは理論的QGパラメータに非常に近い近似を示す。

ABSTRACT

We introduce a new strategy designed to help physicists discover hidden laws governing dynamical systems. We propose to use machine learning automatic differentiation libraries to develop hybrid numerical models that combine components based on prior physical knowledge with components based on neural networks. In these architectures, named Deep Neural Numerical Models (DNNMs), the neural network components are used as building-blocks then deployed for learning hidden variables of underlying physical laws governing dynamical systems. In this paper, we illustrate an application of DNNMs to upper ocean dynamics, more precisely the dynamics of a sea surface tracer, the Sea Surface Height (SSH). We develop an advection-based fully differentiable numerical scheme, where parts of the computations can be replaced with learnable ConvNets, and make connections with the single-layer Quasi-Geostrophic (QG) model, a baseline theory in physical oceanography developed decades ago.

研究の動機と目的

• 海洋系の隠れた力学的法則を発見するため、物理的知識と機械学習を統合したハイブリッドモデリングフレームワークの開発。
• 微分可能な数値スキーム内での学習可能なコンponentsを用いて、古典的Quasi-Geostrophic（QG）理論を上回る海面高（SSH）予測精度の向上。
• 物理的制約を保持しつつ、未知の力学をデータ駆動で精緻化できる解釈可能で微分可能なモデルの実現。
• 実衛星由来の海洋データ（NATL60）を用いた検証により、物理的モデル発見の可能性を示す。

提案手法

• CFL条件を満たす数値的安定性を保証する3次上流化空間離散化と1次Euler時間積分に基づく完全に微分可能な広義の移流拡산数値スキームを採用。
• ポテンシャル・バーティカル（PV）が科的速度で輸送される、変更されたQGフレームワークをコアとするモデル。学習可能なConvNetが速度場を置き換えたり補完したりする。
• PyTorchで実装されたDeep Neural Numerical Model（DNNM）により、物理的ソルバーとニューラルネットワークコンponentsの両方をエンドツーエンドでバックプロパゲーション可能に。
• ConvNetは、標準的なQG速度場に追加される非線形補正を予測するように訓練され、修正された流れ場を形成する。
• 損失関数には、予測値とターゲットのSSH予測のスケーリングされた平均二乗誤差、速度場への発散ペナルティ、L2正則化を組み合わせる。
• Adam最適化アルゴリズムを用い、学習率の減少とバッチ正則化を適用。推論は、学習済みConvNetを固定することで、プラグアンドプレイの利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 物理的PDEソルバーと学習可能なニューラルネットワークを組み合わせたハイブリッドモデルは、標準的なQuasi-Geostrophic（QG）モデルを上回るSSH予測精度を実現できるか？
• RQ2 微分可能な数値フレームワーク内での学習されたConvNetコンponentsは、理論的科的速度場をどの程度正確に近似できるか？
• RQ3 学習可能な非線形速度補正が、特に海洋フロント付近で線形QG近似を超える動的挙動を捉えられるか？
• RQ4 学習済みニューラルコンponentsは、物理的に意味のあるQGモデル補正として解釈可能か、それとも単なるデータ駆動の近似にとどまるか？

主な発見

• 学習済みConvNetは、テストデータにおけるRMSEが低くなることから、標準QGモデルに比べて1日先のSSH予測精度が顕著に向上した。
• ConvNetから得られた最適化されたフィルタ重み（F）は、理論的QGパラメータ行列に非常に近いことが判明し、物理的に妥当な補正を学習したことが示された。
• ConvNetの出力は、SSH勾配や海洋フロントと強く空間相関を示し、フロントなどの重要な特徴で動的挙動を強化したと示唆された。
• ConvNetを微分可能な数値スキーム内に統合することで、アーキテクチャ全体にわたるバックプロパゲーションが可能となり、安定した学習と推論が達成された。
• 学習済みニューラルコンponentsは抽出可能であり、既存のQGコードベースに独立して再利用可能で、再学習なしにリアルタイムでのデプロイが可能となった。
• 非線形速度項の追加により、予測精度が顕著に向上した。これは、線形科的バランスを超える学習の価値を示している。