[논문 리뷰] Cell-average based neural network method for hyperbolic and parabolic partial differential equations

Changxin Qiu, Jue Yan|arXiv (Cornell University)|2021. 07. 02.

Model Reduction and Neural Networks참고 문헌 48인용 수 9

한 줄 요약

이 논문은 유한체적 방법에 영감을 받아, 시간 단계 간의 셀 평균 해 값의 진화를 학습하는 피드포워드 신경망을 사용하여 쌍곡형 및 타원형 PDE를 해결하기 위한 셀 평균 기반 신경망(CANN) 방법을 제안한다. 이 방법은 명시적 방법의 CFL 안정성 제약을 우회하여 큰 시간 간격을 사용할 수 있으며, 수치적 확산을 최소화하면서 충격파, 희석파, 접촉 불연속성을 정확하게 포착할 수 있다.

ABSTRACT

Motivated by finite volume scheme, a cell-average based neural network method is proposed. The method is based on the integral or weak formulation of partial differential equations. A simple feed forward network is forced to learn the solution average evolution between two neighboring time steps. Offline supervised training is carried out to obtain the optimal network parameter set, which uniquely identifies one finite volume like neural network method. Once well trained, the network method is implemented as a finite volume scheme, thus is mesh dependent. Different to traditional numerical methods, our method can be relieved from the explicit scheme CFL restriction and can adapt to any time step size for solution evolution. For Heat equation, first order of convergence is observed and the errors are related to the spatial mesh size but are observed independent of the mesh size in time. The cell-average based neural network method can sharply evolve contact discontinuity with almost zero numerical diffusion introduced. Shock and rarefaction waves are well captured for nonlinear hyperbolic conservation laws.

연구 동기 및 목표

• 유한체적 방법의 안정성과 보존 성질을 계승하는 쌍곡형 및 타원형 PDE를 위한 신경망 솔버를 개발하기 위해.
• 기존의 명시적 유한체적 방법에 내재된 CFL 시간 간격 제약을 기계학습을 활용해 안정적인 시간 진화를 학습함으로써 극복하기 위해.
• 충격파, 희석파, 접촉 불연속성을 포함한 비선형 보존법칙의 정확한 시뮬레이션을 가능하게 하기 위해, 메쉬에 의존하는 유한체적 유사 신경망을 사용하기 위해.
• 정확한 또는 고정밀 해 쌍을 기반으로 신경망을 훈련시켜 연속된 시간 단계에서의 셀 평균 간의 매핑을 학습함으로써 약한 공식화와의 일致를 확보하기 위해.
• 훈련 데이터를 초월하여 일반화할 수 있음을 보여주기 위해, 충격파와 희석파의 상호작용 이후 동역학을 포함한 다양한 해 상태에 대해 성능을 검증하기 위해.

제안 방법

• 방법은 PDE의 약한 또는 적분 형태에 기반하며, 주로 셀 평균 해 값이 상태의 주요 표현 방식이다.
• 피드포워드 신경망을 사용하여 시간 단계 $n$의 셀 평균 상태를 시간 단계 $n+1$의 상태로 매핑하도록 오프라인 지도 학습을 수행한다.
• 네트워크 입력은 이웃 셀 평균의 스텐실로 구성되며, 예를 들어 $\bar{u}^{n}_{j-4}$부터 $\bar{u}^{n}_{j+2}$까지 포함된다. 이는 국소적인 공간적 맥락을 제공한다.
• 훈련 데이터 쌍 $(\bar{u}^{n}_{j}, \bar{u}^{n+1}_{j})$는 정확한 해 또는 고차수 수치 해(예: 불연속 갈레르킨)를 사용하여 더 해상도가 높은 메쉬에서 생성된다.
• 훈련이 완료된 후, 네트워크는 유한체적 유사 방법으로 구현되며, 해 갱신은 네트워크가 학습한 매핑을 직접적으로 사용하여 계산된다.
• 이 방법은 명시적 방법으로 구현되지만, 큰 시간 간격(예: $\Delta t = 4\Delta x$)에서도 안정적으로 작동하며, 기존의 표준 CFL 제약을 우회한다.

실험 결과

연구 질문

• RQ1 셀 평균 해 쌍에 기반해 훈련된 신경망이 쌍곡형 및 타원형 PDE에 대해 안정적이고 정확한 시간 진화 연산자를 학습할 수 있는가?
• RQ2 신경망 기반 유한체적 방법이 전통적인 명시적 방법의 CFL 안정성 제약을 어느 정도 우회할 수 있는가?
• RQ3 훈련 데이터에 상호작용 이후 동역학이 포함되어 있지 않더라도, 복잡한 파동 간섭(예: 충격파-희석파 융합)을 얼마나 잘 해상도할 수 있는가?
• RQ4 이 방법은 수치적 확산을 최소화하면서 불연속성과 접촉파의 날카운 해상도를 유지하는가?
• RQ5 훈련 데이터에 포함되지 않은 해 상태, 예를 들어 충격파 상호작용 이후의 구성에 대해 훈련된 네트워크가 일반화 가능한가?

주요 결과

• CANN 방법은 열 방정식에 대해 1차 수렴을 달성하며, 오차는 시간 간격 크기와 무관하게 오직 공간 메쉬 크기와 관련이 있다.
• 이 방법은 거의 수치적 확산이 없는 상태에서 접촉 불연속성을 정확히 포착하여 날카운 해상도를 유지한다.
• 비선형 쌍곡형 보존법칙에 대해, 충격파와 희석파를 정확히 해상도하며, 훈련 데이터에 포함되지 않은 상호작용 이후의 동역학까지도 정확히 포착한다.
• 네트워크는 파동 간 상호작용에 대해 잘 일반화된다: $t=2$까지의 훈련(충격-희석파 상호작용 이전)만으로도 $t>2$에서 융합된 파동 구조를 정확히 시뮬레이션할 수 있다.
• 해가 특이점을 형성하더라도 L2 오차는 약 $O(10^{-3})$ 수준을 유지하며, 셀 크기 $\Delta x \approx 0.06$일 때에도 안정성이 높음을 보여준다.
• 이 방법은 큰 시간 간격(예: $\Delta t = 4\Delta x$)에서도 안정적으로 작동하며, 신경망이 명시적 방법에서 일반적으로 요구되는 CFL 조건을 우회함을 입증한다.