[논문 리뷰] An overview on deep learning-based approximation methods for partial differential equations

Christian Beck, Martin Hutzenthaler외 2명|arXiv (Cornell University)|2020. 12. 22.

Model Reduction and Neural Networks인용 수 31

한 줄 요약

이 논문은 심층 학습 접근법이 고차원 PDE를 근사하는 방식을 조사하며, 선형 및 비선형 방법(예: deep Galerkin 및 deep splitting), 이론적 통찰, 시뮬레이션 및 이용 가능한 코드를 자세히 다룬다.

ABSTRACT

It is one of the most challenging problems in applied mathematics to approximatively solve high-dimensional partial differential equations (PDEs). Recently, several deep learning-based approximation algorithms for attacking this problem have been proposed and tested numerically on a number of examples of high-dimensional PDEs. This has given rise to a lively field of research in which deep learning-based methods and related Monte Carlo methods are applied to the approximation of high-dimensional PDEs. In this article we offer an introduction to this field of research by revisiting selected mathematical results related to deep learning approximation methods for PDEs and reviewing the main ideas of their proofs. We also provide a short overview of the recent literature in this area of research.

연구 동기 및 목표

• 고차원 PDE를 해결하는 도전 과제를 소개하고 학습 기반 접근법의 동기를 제시합니다.
• 선형 PDE, 특히 선형 Kolmogorov(열) 방정식에 대한 핵심 딥러닝 기반 방법을 검토하고 정리합니다.
• 두 가지 주요 방법인 deep Galerkin 방법과 deep splitting 방법으로 비선형 PDE 기법을 제시하고 개요합니다.
• 이론적 맥락을 제공하고 PDE 근사에서 차원의 저주를 극복하기 위한 부분적 결과를 논의합니다.
• 시뮬레이션에 대한 가이드를 제공하고 실용적 구현을 보여주기 위한 소스 코드를 제공합니다.

제안 방법

• 파인먼–카악 표현을 통해 선형 PDE를 무한 차원 확률적 최적화 문제로 형식화합니다.
• 깊은 신경망과 그것들의 매개변수화된 함수 근사기로서의 구현을 설명합니다.
• 확률 샘플에 대한 기대 제곱 오차를 최소화하여 선형 PDE에 대한 구체적인 딥 러닝 기반 스키마를 개요합니다.
• 상응하는 손실 함수와 함께 두 가지 비선형 PDE 접근법인 deep Galerkin 방법과 deep splitting 방법을 상세히 설명합니다.
• 방법을 설명하기 위한 간단한 PyTorch 구현을 제공하고 보다 일반적인 Kolmogorov PDE로의 확장을 논의합니다.

실험 결과

연구 질문

• RQ1 선형 및 비선형 PDE를 신경망 근사에 적합한 확률적 최적화 문제로 어떻게 재구성할 수 있을까요?
• RQ2 깊은 신경망이 고차원에서 PDE 해를 효율적으로 근사할 수 있을까요? 차원의 저주를 극복할 수 있을지 모색합니다.
• RQ3 딥 러닝 기반 PDE 근사 방법의 이론적 보장과 한계는 무엇인가요?
• RQ4 semilinear/비선형 PDE에 대해 deep Galerkin 방법과 deep splitting 방법은 개념적으로 그리고 실용적으로 어떻게 비교되나요?
• RQ5 이 방법들을 고차원 문제에서 시연하는 실용적 구현과 시뮬레이션은 무엇인가요?

주요 결과

• 딥러닝 기반 근사는 PDE를 PDE 해에 해당하는 확률적 최적화 문제로 재구성할 수 있습니다.
• DNN은 고차원 도메인에서 PDE 해를 근사하기 위한 유연한 함수 클래스 역할을 할 수 있습니다.
• deep Galerkin 방법은 PDE와 말단 조건을 암호화하는 손실을 최소화하여 semilinear PDE를 해결하는 프레임워크를 제공합니다.
• deep splitting 방법 및 다른 접근법은 신경망 기반 PDE 해법을 비선형 설정으로 확장하여 실용적인 알고리즘과 동반 이론을 제공합니다.
• 시뮬레이션과 코드는 고차원 문제에서의 타당성과 성능을 보여주며, 차원의 저주를 극복하기 위한 완전한 이론적 정당화가 여전히 부분적임을 인정합니다.
• 해당 기사는 방법 복제를 돕기 위한 명시적 PyTorch 예제를 포함합니다.