[논문 리뷰] VENI, VINDy, VICI: a generative reduced-order modeling framework with uncertainty quantification

Paolo Conti, Jonas Kneifl외 5명|arXiv (Cornell University)|2024. 05. 31.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

데이터 기반의 비침습적 ROM 프레임워크로, 변분 인코딩(VENI), 변분 SINDY(VINDy), 그리고 확실 구간이 있는 변분 추론(VICI)을 결합하여 잡음 없는 고차원 해를 재구성하고 불확실성을 정량화합니다. Rössler 시스템과 고차원 PDE 벤치마크에서 시연되었습니다.

ABSTRACT

The simulation of many complex phenomena in engineering and science requires solving expensive, high-dimensional systems of partial differential equations (PDEs). To circumvent this, reduced-order models (ROMs) have been developed to speed up computations. However, when governing equations are unknown or partially known, typically ROMs lack interpretability and reliability of the predicted solutions. In this work we present a data-driven, non-intrusive framework for building ROMs where the latent variables and dynamics are identified in an interpretable manner and uncertainty is quantified. Starting from a limited amount of high-dimensional, noisy data the proposed framework constructs an efficient ROM by leveraging variational autoencoders for dimensionality reduction along with a newly introduced, variational version of sparse identification of nonlinear dynamics (SINDy), which we refer to as Variational Identification of Nonlinear Dynamics (VINDy). In detail, the method consists of Variational Encoding of Noisy Inputs (VENI) to identify the distribution of reduced coordinates. Simultaneously, we learn the distribution of the coefficients of a pre-determined set of candidate functions by VINDy. Once trained offline, the identified model can be queried for new parameter instances and new initial conditions to compute the corresponding full-time solutions. The probabilistic setup enables uncertainty quantification as the online testing consists of Variational Inference naturally providing Certainty Intervals (VICI). In this work we showcase the effectiveness of the newly proposed VINDy method in identifying interpretable and accurate dynamical system for the Roessler system with different noise intensities and sources. Then the performance of the overall method - named VENI, VINDy, VICI - is tested on PDE benchmarks including structural mechanics and fluid dynamics.

연구 동기 및 목표

• 제한된 노이즈가 있는 데이터로부터 해석 가능하고 신뢰할 수 있는 ROM을 구축하는 문제에 대응한다.
• 차원 축소, 시스템 식별, 불확실성 정량화를 통합한 통일된 변분 프레임워크를 구현한다.
• 잠재 역학을 학습하기 위한 오프라인 학습과 예측 불확실성을 갖춘 온라인 생성을 제공한다.
• 저차원 혼돈 시스템과 고차원 PDE 벤치마크에서 효과를 입증한다.

제안 방법

• 변분 인코더와 가우시안 디코더를 통해 잡음 있는 고차원 데이터를 저차원 잠재 분포로 매핑하기 위해 VENI를 사용한다.
• 잠재 좌표의 확률적이고 희소한 동적 모델을 후보 함수의 선형 결합으로 학습하도록 VINDy를 적용한다. 계수는 불확실하다.
• 재구성, 잠재 역학 및 계수 사전 정보를 함께 최적화하여 변분 목적 함수 내에서 오프라인으로 학습한다.
• 온라인에서는 VICI를 사용하여 새로운 매개변수/초기 조건에 대한 전체 필드 해와 불확실성 구간을 생성한다.
• 계산 가능한 KL 항을 위해 가우시안 또는 라플라스 사전분포를 가정하고 기울기 기반 최적화를 위해 재매개화를 사용한다.

실험 결과

연구 질문

• RQ1 VENI-VINDy-VICI 파이프라인이 노이즈가 많고 고차원인 데이터로부터 해석 가능한 잠재 다이나믹스를 회복할 수 있는가?
• RQ2 이 프레임워크는 새로운 매개변수 인스턴스에 대해 정확한 노이즈 강건한 재구성과 신뢰할 수 있는 불확실성 정량화(확실 구간)를 제공하는가?
• RQ3 메모 MEMS 빔과 비정상 반응-확산 문제처럼 고차원 PDE 벤치마크에서 방법의 성능은 어떠한가?
• RQ4 잠재 표현의 안정화와 동적 발견의 안정화에 있어 오프라인 공동 훈련의 역할은 무엇인가?

주요 결과

• VINDy 구성요소는 Rössler 시스템에서 다양한 잡음 조건 하에 해석 가능한 잠재 다이나믹스를 식별한다.
• 통합된 VENI–VINDy–VICI 프레임워크는 정확한 전체 필드 PDE 해를 제공하고 온라인 예측 중에 Certainty Intervals를 통해 불확실성을 제공한다.
• 이 방법은 MEMS 빔 공진자 및 매개변수화된 반응-확산 문제를 포함한 고차원 PDE 벤치마크에서 검증된다.
• VENI, VINDy, VICI의 공개 소스 코드는 공개 저장소에 제공된다.
• 오프라인 학습은 재구성, 잠재 역학 및 계수 사전을 함께 최적화하여 UQ 기능을 갖춘 생성 ROM을 산출한다.