[논문 리뷰] Learning normal form autoencoders for data-driven discovery of universal,parameter-dependent governing equations

Manu Kalia, Steven L. Brunton외 3명|arXiv (Cornell University)|2021. 06. 09.

Model Reduction and Neural Networks참고 문헌 32인용 수 11

한 줄 요약

이 논문은 고차원 데이터에서 보편적 정규형 역학을 추출하기 위해 저차원, 매개변수에 의존하는 좌표 변환을 발견하는 딥러닝 프레임워크인 정규형 오토에인코드어를 소개한다. 오토에인코드어 아키텍처를 통해 은닉 공간을 히프, 피치fork, 안장점과 같은 표준 분기 구조와 일치하도록 제약함으로써, 이 방법은 매개변수 불안정성과 패턴 형성 행동을 다양한 물리계에서 포괄적으로 기록하는 단순하고 해석 가능한 모델을 데이터 기반으로 발견할 수 있게 한다.

ABSTRACT

Complex systems manifest a small number of instabilities and bifurcations that are canonical in nature, resulting in universal pattern forming characteristics as a function of some parametric dependence. Such parametric instabilities are mathematically characterized by their universal un-foldings, or normal form dynamics, whereby a parsimonious model can be used to represent the dynamics. Although center manifold theory guarantees the existence of such low-dimensional normal forms, finding them has remained a long standing challenge. In this work, we introduce deep learning autoencoders to discover coordinate transformations that capture the underlying parametric dependence of a dynamical system in terms of its canonical normal form, allowing for a simple representation of the parametric dependence and bifurcation structure. The autoencoder constrains the latent variable to adhere to a given normal form, thus allowing it to learn the appropriate coordinate transformation. We demonstrate the method on a number of example problems, showing that it can capture a diverse set of normal forms associated with Hopf, pitchfork, transcritical and/or saddle node bifurcations. This method shows how normal forms can be leveraged as canonical and universal building blocks in deep learning approaches for model discovery and reduced-order modeling.

연구 동기 및 목표

• 기본 방정식에 대한 사전 지식 없이 고차원, 매개변수에 의존하는 시스템에서 저차원 정규형 역학을 발견하는 오랜 도전 과제를 해결하기 위해.
• 복잡한 시공간 데이터에서 표준 분기 구조(예: 히프, 피치fork 등)를 데이터 기반으로 식별할 수 있도록 하기 위해.
• 고차원 데이터를 최소화되고 해석 가능한 은닉 공간으로 매핑하는 좌표 변환을 학습하는 딥러닝 프레임워크를 개발하기 위해.
• 물리적으로 해석 가능하고 다양한 시스템에 일반적으로 적용 가능한, 저차원의 매개변수화된 불안정성 표현을 제공하기 위해.
• 기존의 모델 발견 방법이 매개변수 의존성과 분기 시의 위상적 변화를 포착하지 못하는 한계를 극복하기 위해.

제안 방법

• 고차원 데이터(예: 유체 흐름 시뮬레이션)를 저차원 은닉 공간으로 매핑하는 딥 오토에인코드어를 훈련하여 특정 정규형 방정식을 따르도록 제약을 둔다.
• 은닉 공간 아키텍처에 표준 정규형(예: 히프의 경우 스타트-랜드อ우, 피치fork의 경우 세차항)에 대한 사전 지식을 인덕티브 바이어스로 통합한다.
• POD 기반의 동역학 계수를 오토에인코드어 훈련 이전에 전처리하기 위해 선형 변환 Γ(임의의 행렬의 SVD를 통해 유니터리로 선택)를 사용하여 고차항을 유지하고 재구성 정확도를 향상시킨다.
• 시뮬레이션 데이터에서 주요 공간 모드와 시간 계수를 추출하기 위해 정규직교분해(POD)를 적용하여 차원을 4개의 모드로 감소시켜 계산 효율성을 확보한다.
• 원래 데이터의 재구성 정확도를 강제로 유지하고 은닉 역학이 목표 정규형 방정식을 따르도록 하는 손실 함수를 사용하여 오토에인코드어를 훈련한다.
• 학습된 디코더와 선형 변환 Γ의 역행렬을 사용하여 전체 상태 해를 재구성함으로써 원래 시스템 행동의 정확한 복원을 보장한다.

실험 결과

연구 질문

• RQ1 딥 오토에인코드어는 고차원 데이터에서 매개변수에 의존하는 시스템의 기저 정규형 역학을 드러내는 좌표 변환을 학습할 수 있는가?
• RQ2 이 방법은 시스템의 방정식에 대한 사전 지식 없이도 히프, 피치fork, 교차분기, 안장점과 같은 표준 분기 구조를 얼마나 잘 발견하고 표현할 수 있는가?
• RQ3 기존의 표준 모델 발견 기법에 비해, 이 방법은 분기 시의 매개변수 의존성과 위상적 변화를 얼마나 잘 유지하는가?
• RQ4 학습된 은닉 역학은 보편적 정규형을 통해 해석 가능성을 유지하면서도 전체 시스템 행동을 높은 정확도로 재구성할 수 있는가?
• RQ5 유니터리 변환 Γ와 같은 전처리 단계가 학습된 정규형 표현의 품질과 재구성 성능에 어떤 영향을 미치는가?

주요 결과

• 기본 방정식을 알지 못하는 고차원 유체 흐름 데이터에서조차도 이 방법은 정확한 정규형 역학(예: 히프 분기의 경우 스타트-랜드오우)을 성공적으로 식별하고 학습한다.
• 은닉 공간의 역학은 기대되는 정규형 방정식을 거의 정확히 따르며, 다양한 매개변수 값에서 재구성된 궤적은 이론적 분기 행동과 일치한다.
• 유니터리 변환 Γ를 사용함으로써 고차항이 보존되어 POD 계수의 정확도가 향상되어 전체 상태 해의 복원 정확도가 높아진다.
• 오토에인코드어는 단지 4개의 POD 모드만을 사용하여 전체 시뮬레이션을 정확히 재구성함으로써 효과적인 차원 축소와 모델 압축을 보여준다.
• 이 프레임워크는 분기 이전과 이후의 위상적으로 다른 패턴을 하나의 통합된 매개변수화된 모델로 포괄하여 기존 방법의 핵심 한계를 해결한다.
• 이 방법은 히프, 피치fork, 교차분기, 안장점 등 다양한 분기 유형으로 일반화되며, 매개변수 불안정성에 대한 발견 도구로서의 보편성을 확인한다.