[논문 리뷰] Deep neural networks overcome the curse of dimensionality in the numerical approximation of semilinear partial differential equations

Petru A. Cioica-Licht, Martin Hutzenthaler외 1명|arXiv (Cornell University)|2022. 05. 28.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 높은 차원의 비선형 편미분방정식(PDE)의 해를 근사할 때 차원의 극복(curse of dimensionality)에 시달리지 않는 딥 뉴럴 네트워크(DNN)의 능력을 증명한다. 비선형성, 계수, 초기 조건에 대해 리프시츠 연속성 조건을 가정할 경우, DNN의 파라미터 수는 차원 $d$와 반비례 정확도 $\varepsilon$에 대해 최대 다항식적으로 증가하며, 이는 높은 차원의 PDE를 효율적으로 수치적으로 해결할 수 있음을 시사한다.

ABSTRACT

We prove that deep neural networks are capable of approximating solutions of semilinear Kolmogorov PDE in the case of gradient-independent, Lipschitz-continuous nonlinearities, while the required number of parameters in the networks grow at most polynomially in both dimension $d \in \mathbb{N}$ and prescribed reciprocal accuracy $\varepsilon$. Previously, this has only been proven in the case of semilinear heat equations.

연구 동기 및 목표

• 딥 뉴럴 네트워크가 높은 차원의 반선형 PDE의 해를 효율적으로 근사할 수 있다는 이론적 보장을 확립하는 것.
• 유한 차분법 또는 유한 요소법과 같은 전통적 수치 해법에서 발생하는 차원의 극복 문제를 다루는 것.
• 이전 연구에서 반선형 열 방정식에 국한된 결과를 일반 반선형 코모고로프 PDE로 확장하여, 기울기와 무관한 리프시츠 비선형성을 가진 경우를 다루는 것.
• DNN의 파라미터 수가 차원 $d$와 역정확도 $\varepsilon$에 대해 최대 다항식적으로 증가함을 증명하는 것.
• 일반적인 리프시츠 연속 계수와 초기 조건을 가진 PDE에 대한 DNN 기반 근사의 엄밀한 수학적 프레임워크를 제공하는 것.

제안 방법

• 저자들은 가중치 행렬과 편향 벡터로 정의된 딥 뉴럴 네트워크(DNN)의 수학적 프레임워크를 사용하며, ReLU 활성화 함수를 적용한다.
• 시간에 따라 재귀적으로 정의되는 함수, 오일러-마르야마 근사, PDE에 대한 선형화 방법(MLP)에 대한 DNN 표현을 구성한다.
• 진짜 PDE 해와 MLP 근사 간의 오차를 제한하기 위해 변형 분석을 개발한다.
• 증명은 계수와 초기 조건의 변형에 대한 PDE 해의 안정성과 리아푸노프 유형 함수 추정치에 기반한다.
• DNN는 초기 조건, 드리프트 및 확산 계수를 제어된 오차와 리프시츠 연속성을 유지하면서 근사하도록 구성된다.
• 최종 DNN 근사는 단위 입방체 $[0,1]^d$ 상에서 $L^2$-노름으로 다항식적 파라미터 증가를 보이며 수렴함을 보였다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 차원과 정확도에 대해 다항식적 파라미터 증가를 보이며 높은 차원의 반선형 PDE의 해를 근사할 수 있는가?
• RQ2 이 방법은 반선형 코모고로프 PDE의 수치적 해법에서 차원의 극복 문제를 극복하는가?
• RQ3 이론적 보장은 반선형 열 방정식을 넘어서 일반 반선형 PDE로 확장될 수 있는가? 이 경우 비선형성과 계수는 리프시츠 연속성을 가져야 하는가?
• RQ4 파라미터 수가 PDE의 차원 $d$와 원하는 정확도 $\varepsilon$에 어떻게 의존하는가?
• RQ5 DNN는 PDE 계수와 초기 데이터의 변형에 대해 정확성과 안정성을 유지하도록 어떻게 구성할 수 있는가?

주요 결과

• 근사 DNN의 파라미터 수는 PDE의 차원 $d$와 역정확도 $\varepsilon$에 대해 최대 다항식적으로 증가하며, 특정한 $\eta > 0$에 대해 $\eta d^{\eta} \varepsilon^{-\eta}$로 상한이 존재한다.
• 단위 입방체 $[0,1]^d$ 상에서 진짜 해와 DNN 근사 간의 $L^2$-오차는 임의의 $\varepsilon \in (0,1]$에 대해 $\varepsilon$ 이하로 제한된다.
• 이 방법은 리프시츠 연속 비선형성, 드리프트, 확산 및 초기 조건을 가진 일반 반선형 코모고로프 PDE에 적용 가능하다.
• DNN는 PDE 계수와 초기 데이터의 변형에 대해 리프시츠 연속성과 근사 정확성을 유지하도록 구성된다.
• 이론적 프레임워크는 DNN 근사가 고차원에서도 안정적이고 수렴함을 보장한다.
• 이전 연구가 반선형 열 방정식에 국한된 것을 넘어서, 기울기와 무관한 비선형성을 가진 더 넓은 범위의 반선형 PDE에 대해 일반화된 결과를 도출한다.