[논문 리뷰] Evolve Smoothly, Fit Consistently: Learning Smooth Latent Dynamics For Advection-Dominated Systems

Zhong Wan, Leonardo Zepeda-Núñez외 2명|arXiv (Cornell University)|2023. 01. 25.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 일관성 유도 정규화를 통해 광범위하게 확산되는 시스템을 위한 매끄럽고 저차원의 궤적을 학습하는 하이퍼네트워크 기반의 잠재 역학 모델을 제안한다. 이는 큰 시간 간격에서도 높은 정확도와 효율성을 갖춘 다단계 롤아웃을 가능하게 한다. 모델은 아키텍처와 정규화를 통해 잠재 역학의 매끄러움을 강제함으로써, 기존의 편미분방정식(PDE)에 대한 명시적 지식 없이도 베이스라인에 비해 뛰어난 정확도와 추론 속도를 달성한다.

ABSTRACT

We present a data-driven, space-time continuous framework to learn surrogate models for complex physical systems described by advection-dominated partial differential equations. Those systems have slow-decaying Kolmogorov n-width that hinders standard methods, including reduced order modeling, from producing high-fidelity simulations at low cost. In this work, we construct hypernetwork-based latent dynamical models directly on the parameter space of a compact representation network. We leverage the expressive power of the network and a specially designed consistency-inducing regularization to obtain latent trajectories that are both low-dimensional and smooth. These properties render our surrogate models highly efficient at inference time. We show the efficacy of our framework by learning models that generate accurate multi-step rollout predictions at much faster inference speed compared to competitors, for several challenging examples.

연구 동기 및 목표

• 기존의 감소 속도가 느린 콜모고로프 n-폭이 낮은 차원의 감소 모델(ROM)이 높은 정확도와 효율성을 달성하는 것을 방해하는 광범위하게 확산되는 시스템을 모델링하는 데 도전하는 것.
• 정확한 기초 편미분방정식(PDE) 지식 없이도 궤적에서 직접 잠재 역학을 학습하는 데이터 기반 대체 모델을 개발하는 것.
• 시간-공간 연속성, 인과성, 메쉬 무관성, 잠재공간의 매끄러움을 인덕티브 바이어스로 통합하여 신경망 기반 모델의 물리적 타당성을 강화하는 것.
• 잠재 궤적의 매끄러움을 정규화함으로써 장기 예측의 안정성과 정확도를 향상시키고, 추론 시 큰 시간 간격을 허용하는 것.
• 쿠라모고로프-시바시킨 및 코르테웨그-데 프리즈 방정식과 같은 벤치마크 광범위하게 확산되는 PDE 시스템에서 프레임워크의 효과성을 입증하는 것.

제안 방법

• 공유 인코더-하이퍼네트워크가 디코더 네트워크의 가중치를 계산하는 하이퍼네트워크 아키텍처를 사용하여 시스템 상태의 매개변수화된 연속적인 공간-시간 표현을 가능하게 한다.
• 디코더 네트워크는 주기적 활성화 함수(예: sin(πx))를 사용하여 공간 주기성을 암묵적으로 인코딩하고 진동하는 동역학의 근사치를 향상시킨다.
• 잠재 궤적의 매끄러움을 강제하기 위해 일관성 정규화 손실을 도입하여, 시간 또는 공간에서의 작은 변형이 잠재 상태에 작은 변화를 유도함을 보장한다.
• 다중 척도의 U-Net 유사 아키텍처를 갖춘 신경미분방정식(Neural ODE)을 사용해 저차원 잠재공간 내에서 정확한 진화를 모델링한다.
• 두 단계 프로토콜로 학습: 먼저 궤적에서 인코더와 하이퍼네트워크를 사전학습하고, 이후 다단계 롤아웃 감독을 통해 역학 모델을 미세조정한다.
• 추론은 완전히 잠재공간에서 수행되며, 필요할 때만 디코딩이 이루어져 큰 시간 간격과 높은 계산 효율성을 가능하게 한다.

Figure 1: (left) Diagram of the latent space evolution, where $u$ represents the state variables, and $\theta$ the latent space variables, which in this case correspond to the weights of a neural network. (right) Sketch of two possible latent space trajectories, we seek to implicitly regularize the

실험 결과

연구 질문

• RQ1 PDE에 대한 사전 지식 없이도 데이터 기반의 연속 시간 잠재 역학 모델이 광범위하게 확산되는 PDE에 대해 고정밀도의 장기 예측을 달성할 수 있는가?
• RQ2 일관성 정규화를 통해 잠재 궤적의 매끄러움을 강제하면, 비정규화된 모델에 비해 일반화 능력과 추론 효율성이 어떻게 향상되는가?
• RQ3 주기적 활성화 함수를 갖춘 하이퍼네트워크 기반 아키텍처가 복잡한 진동하는 물리 시스템의 근사치를 얼마나 향상시킬 수 있는가?
• RQ4 잠재공간의 매끄러움 제약 조건이 있는 단계적 훈련에 비해, 인코더와 역학 모델을 종합적으로 훈련하면 성능이 떨어지는가?
• RQ5 제안된 모델은 FNO, DeepONet, DMD와 같은 최첨단 방법에 비해 벤치마크 광범위하게 확산되는 시스템에서 정확도와 속도 면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 쿠라모고로프-시바시킨 방정식과 코르테웨그-데 프리즈 방정식에서 기존 모델보다 상대적 평균제곱오차(RMSE)가 크게 낮게 나타났으며, 미세조정된 모델은 사전학습된 모델 대비 오차를 최대 50%까지 감소시켰다.
• 다단계 훈련을 통한 미세조정은 특히 KdV 및 KS 시스템에서 물리적으로 비합리적인 패치를 제거하여, 시각적 및 정량적 정확도를 향상시켰다.
• 종합적 훈련은 롤아웃 품질과 안정성을 떨어뜨리는 것으로 나타나, 장기 역학에서 잠재공간의 매끄러움 정규화가 필수적임을 시사한다.
• 디코더에 주기적 활성화 함수(예: sin(πx))를 사용함으로써 평균 상대적 RMSE가 ReLU 대비 최대 90%까지 감소하여, 주기적 물리 시스템에 있어 그 중요성이 입증되었다.
• 매끄러운 잠재 궤적 덕분에 추론 시 큰 시간 간격을 허용할 수 있어, 경쟁 방법 대비 뚜렷한 계산 속도 향상을 이뤘다.
• 공간 에너지 스펙트럼과 샘플 롤아웃을 통해, 다양한 예측 범위에서 풍부한 시공간 패턴을 잘 포착함을 보이며, FNO, DeepONet, DMD와 비교해 정확도와 일반화 능력 면에서 뛰어난 성능을 보였다.

Figure 2: The Nonlinear Fourier Ansatz (left) featurizes the input with $\sin/\cos$ functions with specified frequency and trainable phases, and integrates a small MLP to parametrize functions which are periodic in $[0,L]$ . The Hyper U-Net (right) architecture partitions weights according to their