[논문 리뷰] Long-time integration of parametric evolution equations with physics-informed DeepONets

Sifan Wang, Paris Perdikaris|arXiv (Cornell University)|2021. 06. 09.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

이 논문은 자기지도 학습을 통해 짧은 시간 동안의 해를 추정하는 방식으로, 파arametric 진화 방정식의 장기적 통합을 위한 물리 기반 DeepONet 프레임워크를 제안한다. 이 방법은 반복 예측을 통해 정확하고 효율적인 장기 시뮬레이션을 가능하게 하여, 파동, 반응-확산, 강성 있는 동역학 문제에서 전통적 해법에 비해 비용의 일부분으로도 높은 정확도를 달성한다.

ABSTRACT

Ordinary and partial differential equations (ODEs/PDEs) play a paramount role in analyzing and simulating complex dynamic processes across all corners of science and engineering. In recent years machine learning tools are aspiring to introduce new effective ways of simulating PDEs, however existing approaches are not able to reliably return stable and accurate predictions across long temporal horizons. We aim to address this challenge by introducing an effective framework for learning infinite-dimensional operators that map random initial conditions to associated PDE solutions within a short time interval. Such latent operators can be parametrized by deep neural networks that are trained in an entirely self-supervised manner without requiring any paired input-output observations. Global long-time predictions across a range of initial conditions can be then obtained by iteratively evaluating the trained model using each prediction as the initial condition for the next evaluation step. This introduces a new approach to temporal domain decomposition that is shown to be effective in performing accurate long-time simulations for a wide range of parametric ODE and PDE systems, from wave propagation, to reaction-diffusion dynamics and stiff chemical kinetics, all at a fraction of the computational cost needed by classical numerical solvers.

연구 동기 및 목표

• 기계 학습 기반 PDE 해법에서 장기 예측 정확도가 시간이 지남에 따라 떨어지는 문제를 해결한다.
• 장기 시뮬레이션에서 안정성과 정확도에 어려움을 겪는 기존의 물리 기반 신경망(PINNs)의 한계를 극복한다.
• 초기 조건에서 PDE 해에 이르는 해 연산자에 대해 학습하는 확장 가능한, 자기지도 학습 기반의 딥 러닝 프레임워크를 개발한다.
• 훈련된 모델을 반복적으로 평가하여 다양한 초기 조건에 대해 전역적인 장기 예측을 가능하게 한다.
• 파동 전파 및 화학 반응 동역학을 포함한 복잡한 비선형 및 강성 있는 동역학계에서 이 방법의 효과성과 계산 효율성을 입증한다.

제안 방법

• 무한차원 해 연산자(초기 조건에서 짧은 시간 간격 동안의 PDE 해에 이르는 사상)를 학습하기 위해 물리 기반 DeepONet을 훈련한다.
• 쌍화된 입력-출력 데이터가 필요 없이, PDE 형태와 초기/경계 조건만으로도 훈련 가능한 자기지도 학습 전략을 사용한다.
• 깊이 있는 연산자 네트워크 아키텍처를 활용하여, 입력과 공간/시간 평가를 위한 별도의 브랜치 및 트렁크 네트워크를 갖춘 신경망으로 해 연산자를 매개변수화한다.
• 반복 예측 수행: 각 짧은 시간 예측 결과를 다음 단계의 새로운 초기 조건으로 사용하여 장기 통합을 가능하게 한다.
• 시간 영역 분할을 통해 반복적 추론을 적용하여 전체 시간 범위를 한 번에 훈련할 필요 없이 장기 예측을 수행한다.
• 약한 형태와 콜로케이션 점을 사용하여 훈련 중에 PDE 잔여항과 경계 조건을 강제하여 물리적 일致성을 확보한다.

실험 결과

연구 질문

• RQ1 물리 기반 DeepONet는 쌍화된 훈련 데이터 없이도 파arametric ODE/PDE의 짧은 시간 진화에 대해 안정적이고 정확한 해 연산자를 학습할 수 있는가?
• RQ2 짧은 시간 동안 훈련된 DeepONet를 반복 추론에 활용했을 때, 전통적 수치 해법에 비해 장기 시뮬레이션에서 성능은 어떠한가?
• RQ3 제안된 방법은 다양한 초기 조건에 대해 일반화되며 장기간의 시간 영역에서도 정확도를 유지할 수 있는가?
• RQ4 기존의 시간 통합 기반 방법과 PINNs에 비해 이 방법의 계산 효율성과 확장성은 어떠한가?
• RQ5 이 방법은 장기 시간 영역에서 강성 있는 시스템, 파동 전파, 반응-확산 역학을 다룰 때 얼마나 견고한가?

주요 결과

• 물리 기반 DeepONet는 쌍화된 데이터 없이도 PDE 형태와 경계 조건만으로도 짧은 시간 해 연산자 학습에 높은 정확도를 달성한다.
• 훈련된 모델을 반복적으로 평가하여 다양한 초기 조건과 다양한 PDE 시스템에서 안정적이고 정확한 장기 시뮬레이션을 수행할 수 있다.
• 전통적 수치 해법 대비 몇 개의 주요 계산 비용 감소를 달성하면서도 높은 해의 정밀도를 유지한다.
• 이 방법은 파동 전파, 반응-확산 역학, 강성 있는 화학 반응 동역학을 장기간에 걸쳐 매우 낮은 오차 누적으로 성공적으로 시뮬레이션할 수 있다.
• 예상치 못한 초기 조건에 대해서도 잘 일반화되어, ODE/PDE의 파arametric 가족 전반에서 강력한 제로샷 일반화 능력을 보여준다.
• 자기지도 학습 전략은 고차원 및 복잡한 동역학 영역에서도 견고한 학습을 가능하게 하며, 장기 안정성 면에서 표준 PINNs를 능가한다.