[論文レビュー] Generalised Latent Assimilation in Heterogeneous Reduced Spaces with Machine Learning Surrogate Models

Sibo Cheng, Jianhua Chen+6 more|arXiv (Cornell University)|Apr 7, 2022

Model Reduction and Neural Networks被引用数 9

ひとこと要約

本稿では、異種の低次元空間に符号化されたリアルタイム観測データを機械学習代替モデルに効率的に統合するための新規なデータ同調枠組みである一般化潜在同調（GLA）を提案する。非線形観測演算子を異なる潜在空間間で近似するために局所多項式代替関数を用いることで、GLAは、完全なCFDシミュレーションと比較してほぼ1000倍高速な計算効率を達成するとともに、非線形観測演算子を伴う高次元CFDアプリケーションにおいて、再構成精度と予測精度を顕著に向上させる。

ABSTRACT

Reduced-order modelling and low-dimensional surrogate models generated using machine learning algorithms have been widely applied in high-dimensional dynamical systems to improve the algorithmic efficiency. In this paper, we develop a system which combines reduced-order surrogate models with a novel data assimilation (DA) technique used to incorporate real-time observations from different physical spaces. We make use of local smooth surrogate functions which link the space of encoded system variables and the one of current observations to perform variational DA with a low computational cost. The new system, named Generalised Latent Assimilation can benefit both the efficiency provided by the reduced-order modelling and the accuracy of data assimilation. A theoretical analysis of the difference between surrogate and original assimilation cost function is also provided in this paper where an upper bound, depending on the size of the local training set, is given. The new approach is tested on a high-dimensional CFD application of a two-phase liquid flow with non-linear observation operators that current Latent Assimilation methods can not handle. Numerical results demonstrate that the proposed assimilation approach can significantly improve the reconstruction and prediction accuracy of the deep learning surrogate model which is nearly 1000 times faster than the CFD simulation.

研究の動機と目的

• 状態変数と観測値が異なる物理的量や自己符号化器アーキテクチャのため、異なる潜在空間に符号化される状況において、効率的かつ正確なデータ同調を実現する課題に対処すること。
• 複雑で滑らかでないニューラルネットワークベースの変換演算子を潜在空間間で直接適用した場合に生じる古典的変分データ同調の計算的非現実性を克服すること。
• 代替モデルに基づく手法を開発し、潜在空間における観測演算子の低コストで局所的な近似を可能にすることで、精度を保持しつつ計算効率を維持すること。
• 真の同調コスト関数を代替演算子で近似することによって生じる誤差の理論的上限を導出すること。
• 非線形観測演算子を伴う高次元二相流CFD問題において、従来の潜在同調手法が失敗する状況での手法の検証。

提案手法

• 状態変数と観測値を別々の自己符号化器（AE）を用いて異なる潜在空間に圧縮することで、異種低次元表現を実現する。
• 背景状態の周辺に局所多項式代替関数を構築し、潜在状態空間と観測空間を結ぶ非線形変換演算子を近似する。
• この代替演算子を用いて潜在空間で変分データ同調を実行し、背景項と観測項を組み合わせたコスト関数を最小化する。
• 局所的な精度と滑らかさを保証するため、局所的訓練セットとして背景状態の近傍でラテンハイパーボックスサンプリング（LHS）を用いて代替関数を学習する。
• 理論的解析により、真の同調コスト関数と代替コスト関数の差の上限を導出する。この上限は、局所的訓練セットのサイズに依存する。
• 再帰的ニューラルネットワーク（RNN）代替モデルと統合し、潜在空間における動的予測を可能にし、スパarsな観測を用いたリアルタイム補正を実現する。

実験結果

リサーチクエスチョン

• RQ1 別々の自己符号化器を用いて異なる潜在空間に圧縮された状態と観測データに対して、効果的なデータ同調が可能か？
• RQ2 異種の潜在空間間の非線形的かつ滑らかでない観測演算子を、変分データ同調に適した方法で効率的に近似できるか？
• RQ3 代替ベースの同調コスト関数と真のコスト関数との間の理論的誤差上限は何か？
• RQ4 提案手法は、高次元かつ非線形なCFD問題において、高い計算効率と向上した予測精度を両立できるか？
• RQ5 代替ベースの同調の性能は、局所的訓練セットのサイズとサンプリング戦略にどのように依存するか？

主な発見

• 提案された一般化潜在同調（GLA）手法により、従来の潜在同調が潜在空間の不一致により失敗する状況においても、効果的な変分データ同調が可能になる。
• GLAは、二相流CFDアプリケーションにおいて、完全なCFDシミュレーションと比較して1000倍の高速化を達成しながらも、高い予測精度を維持する。
• 代替ベースの観測演算子近似により、計算コストを顕著に低減でき、最小限のオーバーヘッドでリアルタイム同調が可能になる。
• 真の同調コスト関数と代替コスト関数の誤差の上限が導出され、局所的訓練セットが大きくなるほど誤差が減少することが示された。
• 数値結果により、GLAは非線形観測演算子を伴う深層学習代替モデルの再構成および予測精度を顕著に向上させることを示した。
• 手法は非線形性に対して頑健であり、風速と降水量データのように物理的に異なる状態変数と観測値を含む気象的・水文的システムにも適用可能である。