[論文レビュー] VENI, VINDy, VICI: a generative reduced-order modeling framework with uncertainty quantification

Paolo Conti, Jonas Kneifl+5 more|arXiv (Cornell University)|May 31, 2024

Model Reduction and Neural Networks被引用数 5

ひとこと要約

データ駆動型の非侵入型ROMフレームワークで、変分エンコーディング（VENI）、変分SINDY（VINDy）、および不確実性区間を用いた変分推論（VICI）を組み合わせ、ノイズのない高次元解を再構成し不確実性を定量化します。ロッサー系と高次元PDEベンチマークで実証。

ABSTRACT

The simulation of many complex phenomena in engineering and science requires solving expensive, high-dimensional systems of partial differential equations (PDEs). To circumvent this, reduced-order models (ROMs) have been developed to speed up computations. However, when governing equations are unknown or partially known, typically ROMs lack interpretability and reliability of the predicted solutions. In this work we present a data-driven, non-intrusive framework for building ROMs where the latent variables and dynamics are identified in an interpretable manner and uncertainty is quantified. Starting from a limited amount of high-dimensional, noisy data the proposed framework constructs an efficient ROM by leveraging variational autoencoders for dimensionality reduction along with a newly introduced, variational version of sparse identification of nonlinear dynamics (SINDy), which we refer to as Variational Identification of Nonlinear Dynamics (VINDy). In detail, the method consists of Variational Encoding of Noisy Inputs (VENI) to identify the distribution of reduced coordinates. Simultaneously, we learn the distribution of the coefficients of a pre-determined set of candidate functions by VINDy. Once trained offline, the identified model can be queried for new parameter instances and new initial conditions to compute the corresponding full-time solutions. The probabilistic setup enables uncertainty quantification as the online testing consists of Variational Inference naturally providing Certainty Intervals (VICI). In this work we showcase the effectiveness of the newly proposed VINDy method in identifying interpretable and accurate dynamical system for the Roessler system with different noise intensities and sources. Then the performance of the overall method - named VENI, VINDy, VICI - is tested on PDE benchmarks including structural mechanics and fluid dynamics.

研究の動機と目的

• 限られたノイズデータから解釈可能で信頼性の高いROMを構築するという課題に取り組む。
• 次元削減、システム同定、そして不確実性定量化を統一的な変分フレームワークに統合する。
• 隠れたダイナミクスを学習するオフライン学習と、予測的不確実性を伴うオンライン生成を提供する。
• 低次元のカオス系と高次元PDEベンチマークで有効性を実証する。

提案手法

• VENIを用いて、ノイズのある高次元データを分布を表す低次元潜在分布へ変換する。変分エンコーダとガウスデコーダを介して。
• 候補関数の線形結合として、潜在座標の確率的でスパースな動的モデルを学習するVINDyを適用する。係数は不確定性を持つ。
• 再構成、潜在ダイナミクス、係数事前分布を変分目的関数の下で共同最適化してオフライン訓練を行う。
• オンラインでは、VICIを用いて新しいパラメータ/初期条件に対して全場解と不確実性区間を生成する。
• KL項を扱いやすくするためガウス分布かラプラス分布の事前分布を仮定し、勾配ベースの最適化のためリパラメータゼーションを用いる。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある高次元データから解釈可能な潜在ダイナミクスをVENI-VINDy-VICIパイプラインは回復できるか？
• RQ2 新しいパラメータ事例に対して、ノイズに対してロバストな正確な再構成と信頼性のある不確実性定量化（確信区間）を提供するか？
• RQ3 低次元のカオス系やMEMSビームや非定常反応拡散問題などの高次元PDEベンチマークで方法はどのように機能するか？
• RQ4 潜在表現と動的発見を安定化させる上でのオフライン共同訓練の役割は何か？

主な発見

• VINDy コンポーネントは、ロッサー系においてノイズ条件の変化下で解釈可能な潜在ダイナミクスを特定する。
• 統合された VENI–VINDy–VICI フレームワークは正確な全場PDE解を生成し、オンライン予測時に Certainty Intervals による不確実性を提供する。
• MEMSビーム共振器を含む高次元PDEベンチマークや、パラメータ化反応拡散問題で方法の検証が行われた。
• VENI、VINDy、VICI の公開ソースコードが公開リポジトリに提供されている。
• オフライン訓練は再構成、潜在ダイナミクス、および係数事前分布を共同で最適化し、UQ機能を持つ生成ROMを生み出す。