[論文レビュー] Physics-aware registration based auto-encoder for convection dominated PDEs

Rambod Mojgani, Maciej Balajewicz|arXiv (Cornell University)|Jun 28, 2020

Model Reduction and Neural Networks参考文献 29被引用数 15

ひとこと要約

本稿では、対流優勢なPDE解のコルモゴロフn幅を最小化するため、微分同相的で時間変動する空間時間グリッドを学習する物理知覚型オートエンコーダを提案する。これにより、効率的で解釈可能かつ高精度な低次元モデル化が可能になる。低ランク分解を用いて解を非一様グリッドに登録することで、特に対流優勢系において、訓練データの外への一般化性能が標準オートエンコーダを上回る。

ABSTRACT

We design a physics-aware auto-encoder to specifically reduce the dimensionality of solutions arising from convection-dominated nonlinear physical systems. Although existing nonlinear manifold learning methods seem to be compelling tools to reduce the dimensionality of data characterized by a large Kolmogorov n-width, they typically lack a straightforward mapping from the latent space to the high-dimensional physical space. Moreover, the realized latent variables are often hard to interpret. Therefore, many of these methods are often dismissed in the reduced order modeling of dynamical systems governed by the partial differential equations (PDEs). Accordingly, we propose an auto-encoder type nonlinear dimensionality reduction algorithm. The unsupervised learning problem trains a diffeomorphic spatio-temporal grid, that registers the output sequence of the PDEs on a non-uniform parameter/time-varying grid, such that the Kolmogorov n-width of the mapped data on the learned grid is minimized. We demonstrate the efficacy and interpretability of our approach to separate convection/advection from diffusion/scaling on various manufactured and physical systems.

研究の動機と目的

• 対流優勢なPDEにおける高いコルモゴロフn幅の問題に取り組み、線形低次元モデルの有効性を制限する要因を克服すること。
• 潜在空間から物理空間への微分可能で解釈可能な写像を提供する非線形次元削減手法を開発し、既存の多様体学習手法の主な限界を克服すること。
• 物理的にインフォームドで非一様な空間時間グリッドを学習することで、PDE解を最適に登録し、正確で効率的な低次元モデル化を実現すること。
• 物理知覚型潜在多様体上で訓練された潜在動的モデル（例：LSTM）が、標準オートエンコーダ特徴量と比較して一般化性能と予測能力が向上することを示すこと。

提案手法

• 本手法は、学習されたグリッド上での解スナップショットのコルモゴロフn幅を最小化するための非教師付き学習問題を定式化する。
• 学習されたグリッド上での解スナップショットの低ランク行列近似を用い、時間変動グリッド表現にランク1またはランク2分解を適用する。
• グリッドの歪みを罰則する正則化項を導入し、空間的および時間的2階微分行列（$\bm{D}_{xx}, \bm{D}_{tt}$）と最小速度閾値（$v_{\text{min}}$）を用いて滑らかさを確保する。
• グリッドは、低ランク再構成誤差と正則化を含むコスト関数の最適化により学習され、空間的および時間的グリッド基底はそれぞれ15の制御点にダウンサンプリングされる。
• その後、潜在空間を用いてLSTMを時間系列予測用に訓練するが、オートエンコーダとグリッド学習は別々に実行され、安定性と解釈可能性が向上する。
• 本手法は対流の物理的構造を活用しており、グリッドが移動する特徴を適応的に追跡でき、対流成分と拡散/スケーリング成分を効果的に分離できる。

実験結果

リサーチクエスチョン

• RQ1 標準オートエンコーダーと比較して、データ駆動型で微分同相的なグリッド学習アプローチが、対流優勢なPDE解のコルモゴロフn幅を顕著に低減できるか？
• RQ2 物理知覚型で時間変動するグリッドを学習することで、LSTMなどの潜在動的モデルの一般化性能と予測精度が訓練範囲外でも向上するか？
• RQ3 学習された潜在空間が、情報輸送の低ランク表現として解釈可能であり、対流/対流成分と拡散/スケーリング効果を効果的に分離できるか？
• RQ4 本手法は、非線形PDEにおける従来のオートエンコーダーや射影ベースの低次元モデルと比較して、性能と効率性に優れているか？

主な発見

• バーガース方程式において、物理知覚型オートエンコーダーは、訓練範囲外への外挿においても、標準ニューラルネットワークオートエンコーダーよりも顕著に低い平均二乗誤差を達成した。
• バーガース方程式のケースでは、物理知覚型アプローチがグリッドが対流フロントを追跡できる能力を活かして解の誤差を低減したが、標準オートエンコーダーは訓練ドメイン外での一般化に失敗した。
• 波動方程式のテストケースでは、物理知覚型オートエンコーダーが15個の空間的および時間的制御点のみで正確な再構成と予測を可能にした。これは低次元で解釈可能な表現を示している。
• グリッドが移動するフロントに一致でき、潜在空間における物理的構造を保持できることから、対流/対流成分と拡散/スケーリング成分の分離に成功した。
• 学習されたグリッドは、情報伝播の低ランク表現として解釈可能であり、時間変動グリッドが系内の主な輸送メカニズムに適応していることが示された。
• 本手法は、製造された系および物理的系の両方において、標準オートエンコーダーを上回る予測能力を示し、分布外入力に対しても一般化性とロバストネスが向上していることが示された。