[논문 리뷰] Learning to Accelerate Partial Differential Equations via Latent Global Evolution

Tailin Wu, Takashi Maruyama외 1명|arXiv (Cornell University)|2022. 06. 15.

Model Reduction and Neural Networks인용 수 14

한 줄 요약

LE-PDE는 부분 미분 방정식(PDE) 시뮬레이션과 역 최적화를 가속화하기 위해 PDE 상태와 진동의 압축된 전역 잠재 표현을 학습하고, 이를 완전히 잠재 공간에서 진동시켜, 상태 차원을 최대 128배 감소시키고 기준선 대비 15배 빠른 속도를 달성하면서도 경쟁 가능한 정확도와 노이즈에 대한 강건성을 유지한다.

ABSTRACT

Simulating the time evolution of Partial Differential Equations (PDEs) of large-scale systems is crucial in many scientific and engineering domains such as fluid dynamics, weather forecasting and their inverse optimization problems. However, both classical solvers and recent deep learning-based surrogate models are typically extremely computationally intensive, because of their local evolution: they need to update the state of each discretized cell at each time step during inference. Here we develop Latent Evolution of PDEs (LE-PDE), a simple, fast and scalable method to accelerate the simulation and inverse optimization of PDEs. LE-PDE learns a compact, global representation of the system and efficiently evolves it fully in the latent space with learned latent evolution models. LE-PDE achieves speed-up by having a much smaller latent dimension to update during long rollout as compared to updating in the input space. We introduce new learning objectives to effectively learn such latent dynamics to ensure long-term stability. We further introduce techniques for speeding-up inverse optimization of boundary conditions for PDEs via backpropagation through time in latent space, and an annealing technique to address the non-differentiability and sparse interaction of boundary conditions. We test our method in a 1D benchmark of nonlinear PDEs, 2D Navier-Stokes flows into turbulent phase and an inverse optimization of boundary conditions in 2D Navier-Stokes flow. Compared to state-of-the-art deep learning-based surrogate models and other strong baselines, we demonstrate up to 128x reduction in the dimensions to update, and up to 15x improvement in speed, while achieving competitive accuracy.

연구 동기 및 목표

• 고해상도 이산화에 따라 비례적으로 악화되는 고전적 해법기 및 딥러닝 서rogate 모델의 높은 계산 비용을 해결한다.
• 기존 딥러닝 모델에서 각 셀을 매 시간 단계마다 개별적으로 업데이트하는 국소적 진동의 한계를 극복한다.
• 전역적이고 저차원의 잠재 동역학을 학습하여 장기 예측 시뮬레이션과 역 최적화를 효율적으로 가능하게 한다.
• 비미분 가능 경계 조건을 다루기 위한 새로운 학습 목표와 안내 기법을 통해 잠재 동역학의 장기적 안정성과 정확도를 확보한다.

제안 방법

• 입력 PDE 상태를 저차원 잠재 벡터로 압축하는 동적 인코더와 경계 조건 및 파rameter를 인코딩하는 정적 인코더를 학습한다.
• 모든 업데이트를 잠재 공간에서만 수행하는 학습된 잠재 동역학 모델을 사용해 잠재 상태를 진동시킨다.
• 장기 예측의 안정성을 확보하기 위해 다단계 잠재 일致성 목표를 도입하고, 입력 공간에서의 다단계 재구성 손실과 결합한다.
• 역 최적화를 위해 시간에 따라 역전파를 수행할 수 있도록 잠재 공간에서의 역전파를 가능하게 하여 경계 조건의 파rameter 조정을 크게 가속화한다.
• 비미분 가능성을 해결하고 희소 상호작용을 다루기 위해 경계 마스크에 안내 기법을 적용한다.
• 잠재 공간과 입력 공간에서의 재구성 정확도 및 장기적 진동 충실도를 동시에 최적화하는 통합 목표 함수를 사용해 전체 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 복잡한 PDE 시스템의 핵심 동역학을 포괄하는 전역적이고 저차원의 잠재 표현은, 개별 셀 업데이트 방식보다 더 빠른 시뮬레이션을 가능하게 할 수 있는가?
• RQ2 혼돈 또는 난류 PDE 영역에서 장기적 안정성과 정확도를 확보하기 위해 잠재 동역학은 어떻게 학습할 수 있는가?
• RQ3 잠재 공간에서의 시간에 따른 역전파를 통해 PDE 파rameter(예: 경계 조건)의 역 최적화는 어느 정도 가속화될 수 있는가?
• RQ4 실제 데이터에서 관측 노이즈에 대해 잠재 진동 모델은 얼마나 강건한가, 특히 기저 진동 상태가 손상된 경우에도 마찬가지인가?
• RQ5 PDE 모델링에서 자동에코더와 동역학 구성 요소를 함께 훈련하는 것이, 사전 훈련 기반의 데이터 감소 방식보다 우월한가?

주요 결과

• LE-PDE는 장기 예측 시뮬레이션 동안 업데이트할 상태 변수의 수를 최대 128배 감소시켜 계산 비용을 크게 절감한다.
• 강력한 기준선 대비 최대 15배 빠른 추론 속도를 달성하면서도 1D 및 2D PDE 벤치마크에서 경쟁 가능한 예측 정확도를 유지한다.
• LE-PDE는 노이즈에 매우 강건하다: 1D 버거스 방정식에서 노이즈 진폭이 10⁻³까지일 때 누적 오차는 1.456 이하를 유지하고, 10⁻²일 때는 2.612 이하이다.
• 2D 나비에-스톡스 사례에서는 노이즈 진폭이 0.1에 도달해도 누적 오차가 약간 증가할 뿐(0.1861에서 0.2012로), 상태 범위의 약 2.5% 이내의 노이즈 수준에서도 내성적 강건성을 보인다.
• 자기에코더나 VAE를 별도로 사전 훈련한 후 동역학을 훈련시키면 성능이 크게 떨어지며(예: 1D에서 1.952 대비 1.127), 이는 통합 훈련의 필요성을 입증한다.
• 자기에코더에 비해 VAE 기반 인코더는 난류성으로 인해 결정론적 PDE 동역학에 비해 성능이 열 劣하다.