[논문 리뷰] Solving Irregular and Data-enriched Differential Equations using Deep Neural Networks

Craig Michoski, Miloš Milosavljević외 2명|arXiv (Cornell University)|2019. 05. 10.

Model Reduction and Neural Networks참고 문헌 56인용 수 9

한 줄 요약

이 논문은 충격파를 포함한 비정규적이고 데이터가 풍부한 편미분방정식(PDE)을 해결하기 위한 딥 뉴럴 네트워크(DNN) 기반 방법을 제안한다. PDE의 약한 형태에서 잔차 오차를 최소화하고, 감독 학습을 통해 실험 데이터를 통합함으로써, DNN 프레임워크는 유한요소법과 유사한 정확도를 달성하면서도, 단일 실행 내에 파arameter 공간을 탐색할 수 있고 대규모 데이터를 자연스럽게 통합할 수 있다. 이는 압축성 에일러 및 MHD 시스템에서 물리적 불일치를 학습된 소스 항을 통해 보정함으로써 강력한 성능을 보여준다.

ABSTRACT

Recent work has introduced a simple numerical method for solving partial differential equations (PDEs) with deep neural networks (DNNs). This paper reviews and extends the method while applying it to analyze one of the most fundamental features in numerical PDEs and nonlinear analysis: irregular solutions. First, the Sod shock tube solution to compressible Euler equations is discussed, analyzed, and then compared to conventional finite element and finite volume methods. These methods are extended to consider performance improvements and simultaneous parameter space exploration. Next, a shock solution to compressible magnetohydrodynamics (MHD) is solved for, and used in a scenario where experimental data is utilized to enhance a PDE system that is \emph{a priori} insufficient to validate against the observed/experimental data. This is accomplished by enriching the model PDE system with source terms and using supervised training on synthetic experimental data. The resulting DNN framework for PDEs seems to demonstrate almost fantastical ease of system prototyping, natural integration of large data sets (be they synthetic or experimental), all while simultaneously enabling single-pass exploration of the entire parameter space.

연구 동기 및 목표

• 딥 뉴럴 네트워크(DNN)가 불규칙한 해, 특히 전통적인 수치적 방법에 도전이 되는 충격파를 포함한 PDE를 얼마나 잘 해결할 수 있는지 평가하기.
• 비다양한 특징을 가진 시스템에서 DNN 기반 솔버가 유한요소법 및 유한체적법과 비교해 정확도, 안정성, 내구성 측면에서 어떻게 성능을 내는지 조사하기.
• 기본 모델이 관측 데이터를 충족시키지 못할 경우, 실험 데이터를 물리 기반 PDE 모델에 통합하기 위해 DNN 프레임워크를 확장하기.
• 기존 반복적 수치 해법의 한계를 극복하고, DNN 최적화를 통해 PDE 시스템의 전체 파arameter 공간을 동시에 단일 실행으로 탐색할 수 있도록 하기.
• 학습된 소스 항을 통해 시뮬레이션과 실험 데이터 간의 격차를 분석함으로써 누락된 물리 법칙을 DNN가 어떻게 식별할 수 있는지 보여주기.

제안 방법

• DNN 프레임워크는 공간 및 시간 영역에서의 평균 제곱오차를 조합한 손실 함수를 사용하여 PDE 시스템의 약한 형태의 잔차를 최소화한다.
• 해의 구성 요소에 대한 $ L^2 $-노름 페널티를 통해 신경망 출력을 정규화하여 과적합을 방지하고 부드러움을 확보한다.
• 실험 데이터는 $ E_{\text{exp}} $가 $ 1000 \times 1000 $ 그리드 상의 측정된 데이터 포인트를 나타내는 감독 손실 항 $ \|E_{\text{exp}} - E\|_{\mathfrak{L}_2} $을 정의함으로써 통합된다.
• 기본 PDE 모델과 실험 관측치 간의 격차를 보정하기 위해 학습된 소스 항 $ f_i $를 도입하며, 각 $ f_i $는 잔차 불일치를 최소화하도록 훈련된다.
• 복잡한 다차원 PDE 시스템을 100줄 이내의 코드로 프로토타이핑하기 위해 표준 딥 러닝 라이브러리(예: TensorFlow, PyTorch)를 사용한다.
• 특히 충격파 영역에서의 불연속적 특징을 부드럽게 하기 위해 인위적 확산을 추가함으로써 수치적 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 유한요소법 및 유한체적법과 비교해 DNN는 Sod 충격파 튜브 문제에서 충격파와 같은 비정규적 해를 얼마나 잘 근사할 수 있는가?
• RQ2 DNN 기반 솔버는 PDE 시스템의 전체 파arameter 공간을 단일 실행으로 얼마나 잘 탐색할 수 있으며, 기존 반복적 수치 해법과 비교해 어떤가?
• RQ3 학습된 보정 소스 항을 통해 DNN는 부족하거나 검증되지 않은 PDE 모델에 실험 데이터를 효과적으로 통합할 수 있는가?
• RQ4 실험 관측치와 비교했을 때, 학습된 소스 항 $ f_1, f_2, f_3 $는 기본 PDE 시스템에서 누락된 물리 법칙을 어떻게 드러내는가?
• RQ5 MHD 시스템에서 속도 및 온도장의 불일치를 진단하는 데 자기장 변화가 어떤 역할을 하는가?

주요 결과

• DNN 기반 솔버는 Sod 충격파 튜브 해를 정확하게 근사하였으며, 기존의 유한요소법 및 유한체적법과 유사한 정확도와 안정성을 보였다.
• DNN 프레임워크는 최소한의 수치적 확산으로 충격파를 성공적으로 포착하여 국소적 해석 불연속성에 대한 강건성을 입증했다.
• 학습된 소스 항 $ f_1 $은 모델과 실험 데이터 간의 상당한 초기 질량 불일치를 보정하여, 화학 반응으로 인한 고려되지 않은 질량 유입이 있을 가능성을 시사했다.
• 속도 불일치 $ f_2 $와 온도 불일치 $ f_3 $는 $ f_1 $로 설명되지 않는 복잡하고 비자명한 변동을 보였으며, 동역학 및 에너지 방정식에 추가로 모델링되지 않은 동역학이 존재함을 시사했다.
• $ f_2 $와 $ f_3 $의 특징적인 변동은 실험적으로 측정된 자기장과 강하게 상관관계를 보였으며, 자기장 효과가 관측된 불일치의 주요 원인임을 시사했다.
• DNN 프레임워크는 단일 훈련 실행 내에서 전체 파arameter 공간을 완전하고 동시에 탐색할 수 있었으며, 기존 방법 대비 계산 비용을 크게 감소시켰다.