[논문 리뷰] Space-time deep neural network approximations for high-dimensional partial differential equations

Fabian Hornung, Arnulf Jentzen외 1명|arXiv (Cornell University)|2020. 06. 03.

Advanced Numerical Methods in Computational Mathematics인용 수 5

한 줄 요약

이 논문은 고차원 코모고로프 편미분방정식(PDE)에 대한 공간-시간 딥 뉴럴 네트워크(DNN) 근사 방법을 제안한다. 이는 페인만-카크 공식과 몬테카를로 오일러 스킴을 활용하며, DNN의 파라미터 수가 공간 차원 $d$와 정밀도의 역수 $\varepsilon^{-1}$에 대해 최대 다항식적으로 증가함을 증명함으로써, $[0,T] \times [a,b]^d$ 전체 영역에서의 공간-시간 해에 대해 차원의 저주를 극복한다.

ABSTRACT

It is one of the most challenging issues in applied mathematics to approximately solve high-dimensional partial differential equations (PDEs) and most of the numerical approximation methods for PDEs in the scientific literature suffer from the so-called curse of dimensionality in the sense that the number of computational operations employed in the corresponding approximation scheme to obtain an approximation precision $\varepsilon>0$ grows exponentially in the PDE dimension and/or the reciprocal of $\varepsilon$. Recently, certain deep learning based approximation methods for PDEs have been proposed and various numerical simulations for such methods suggest that deep neural network (DNN) approximations might have the capacity to indeed overcome the curse of dimensionality in the sense that the number of real parameters used to describe the approximating DNNs grows at most polynomially in both the PDE dimension $d\in\mathbb{N}$ and the reciprocal of the prescribed accuracy $\varepsilon>0$. There are now also a few rigorous results in the scientific literature which substantiate this conjecture by proving that DNNs overcome the curse of dimensionality in approximating solutions of PDEs. Each of these results establishes that DNNs overcome the curse of dimensionality in approximating suitable PDE solutions at a fixed time point $T>0$ and on a compact cube $[a,b]^d$ in space but none of these results provides an answer to the question whether the entire PDE solution on $[0,T] imes [a,b]^d$ can be approximated by DNNs without the curse of dimensionality. It is precisely the subject of this article to overcome this issue. More specifically, the main result of this work in particular proves for every $a\in\mathbb{R}$, $ b\in (a,\infty)$ that solutions of certain Kolmogorov PDEs can be approximated by DNNs on the space-time region $[0,T] imes [a,b]^d$ without the curse of dimensionality.

연구 동기 및 목표

• 기존의 딥 러닝 기반 PDE 해법이 고정된 시간점에서의 해만 근사하는 데에 그치는 점을 메우기 위해, 전체 공간-시간 영역에서의 해 근사를 다루는 것.
• 딥 뉴럴 네트워크가 계산 비용이 지수적으로 증가하지 않도록 하면서도 고차원 PDE의 전체 해를 근사할 수 있음을 엄밀한 수학적 증거로 제시하는 것.
• 공간-시간 영역 $[0,T] \times [a,b]^d$ 전체에서 코모고로프 PDE에 대해 DNN이 차원의 저주를 극복할 수 있음을 증명하는 것.
• 스토케스틱 미분방정식 근사와 DNN 실현의 조합을 통해 다항식적 파라미터 스케일링을 달성하는 구조적 방법을 제공하는 것.
• 공간-시간 영역 전역에서의 근사 오차가 $L^p$-노름 기준으로 $\varepsilon$ 이내로 유계임을 보장하는 것.

제안 방법

• 코모고로프 PDE의 해를 확률과정의 기대값 기반 기능과 연결하기 위해 페인만-카크 공식을 활용한다.
• PDE에 관련된 SDE를 이산화하기 위해 몬테카를로 오일러 근사를 적용함으로써 해의 기대값을 수치적으로 계산할 수 있도록 한다.
• 몬테카를로 오일러 근사를 근사하기 위해 딥 뉴럴 네트워크를 구성하며, 네트워크 파라미터가 $d$와 $\varepsilon^{-1}$에 대해 다항식적으로 증가하도록 보장한다.
• 시간과 공간에 따라 변화하는 해를 모델링하기 위해 DNN의 복합 구조를 적용하며, 활성화 함수를 선택하여 정규성과 근사 정확도를 유지한다.
• 오일러-마루야마 스킴과 DNN 근사의 오차 추정치를 적용하여 $[0,T] \times [a,b]^d$ 영역에서의 총 오차를 $L^p$-노름 기준으로 유계로 제한한다.
• DNN의 파라미터 수가 어떤 상수 $c > 0$에 대해 $c \varepsilon^{-c} d^c$ 이내로 유계임을 증명함으로써, 차원 $d$와 정밀도 $\varepsilon$에 독립적으로 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 공간-시간 영역 $[0,T] \times [a,b]^d$ 전체에서 고차원 코모고로프 PDE의 전체 해를 계산 비용이 지수적으로 증가하지 않는 방식으로 근사할 수 있는가?
• RQ2 공간-시간 DNN의 사용이 파라미터 수의 스케일링 측면에서 고차원 PDE 해 근사에서 차원의 저주를 극복하는가?
• RQ3 몬테카를로 오일러 스킴과 DNN의 조합이 $L^p$-오차가 $\varepsilon$ 이내로 유계이고, 동시에 다항식적 파라미터 증가를 유지하는 해 근사를 가능하게 하는가?
• RQ4 모든 시간 및 공간 점 $[0,T] \times [a,b]^d$ 에서 해 오차를 균일하게 유계로 유지하는 DNN 근사를 구성하는 것이 가능한가?
• RQ5 제안된 방법이 DNN의 실수 파라미터 수가 PDE의 차원 $d$와 정밀도의 역수 $\varepsilon^{-1}$에 대해 최대 다항식적으로 증가함을 보장하는가?

주요 결과

• 주요 결과로, 모든 $a \in \mathbb{R}$, $b \in (a, \infty)$에 대해, $[0,T] \times [a,b]^d$에서 정의된 특정 코모고로프 PDE의 해는 차원의 저주 없이 DNN에 의해 근사 가능하다는 것을 증명한다.
• 근사 DNN의 파라미터 수는 공간 차원 $d$와 원하는 정밀도의 역수 $\varepsilon^{-1}$에 대해 최대 다항식적으로 증가하며, 특정 상수 $c > 0$에 대해 $c \varepsilon^{-c} d^c$ 이내로 유계로 제한된다.
• $[0,T] \times [a,b]^d$ 영역에서 DNN 근사의 $L^p$-노름 오차는 임의의 $\varepsilon \in (0,1]$ 에 대해 $\varepsilon$ 이내로 유계이다.
• 근사는 PDE에 관련된 SDE의 몬테카를로 오일러 근사를 실현하는 DNN의 복합 구조를 통해 달성되며, 수렴성과 정규성을 보장한다.
• 이 방법은 DNN 실현 $\mathcal{R}_{\mathfrak{r}}(\mathfrak{u}_{d,\varepsilon})$ 가 $\mathbb{R}^{d+1}$ 상의 연속 함수임을 보장하여 전체 공간-시간 해를 나타낸다.
• 핵심 기술적 유계 조건이 확립된다: 드리프트 및 디퓨전 계수는 리프시츠 연속이며, 초기 조건은 성장률이 제어된 헬더 연속성을 가짐으로써 안정적인 DNN 근사가 가능하다.