[논문 리뷰] Uniform error estimates for artificial neural network approximations for heat equations

Lukas Gonon, Philipp Grohs외 3명|arXiv (Cornell University)|2019. 11. 20.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 열 방정식에 대한 인공신경망(ANN) 근사에서 균일 $L^∞$ 오차 추정을 수립하며, 균일 노름에서 $±\varepsilon$ 정밀도를 달성하기 위해 필요한 매개변수 수가 차원 $d$와 $\varepsilon^{-1}$에 대해 다항식적으로만 증가함을 증명함으로써, ANNs가 이 더 강력한 오차 영역에서 차원의 저주를 극복할 수 있음을 보여줌. 이 결과는 이전의 $L^p$ 기반 수렴 보장을 더 엄격한 균일 노름 설정으로 확장함.

ABSTRACT

Recently, artificial neural networks (ANNs) in conjunction with stochastic gradient descent optimization methods have been employed to approximately compute solutions of possibly rather high-dimensional partial differential equations (PDEs). Very recently, there have also been a number of rigorous mathematical results in the scientific literature which examine the approximation capabilities of such deep learning based approximation algorithms for PDEs. These mathematical results from the scientific literature prove in part that algorithms based on ANNs are capable of overcoming the curse of dimensionality in the numerical approximation of high-dimensional PDEs. In these mathematical results from the scientific literature usually the error between the solution of the PDE and the approximating ANN is measured in the $L^p$-sense with respect to some $p \in [1,\infty)$ and some probability measure. In many applications it is, however, also important to control the error in a uniform $L^\infty$-sense. The key contribution of the main result of this article is to develop the techniques to obtain error estimates between solutions of PDEs and approximating ANNs in the uniform $L^\infty$-sense. In particular, we prove that the number of parameters of an ANN to uniformly approximate the classical solution of the heat equation in a region $ [a,b]^d $ for a fixed time point $ T \in (0,\infty) $ grows at most polynomially in the dimension $ d \in \mathbb{N} $ and the reciprocal of the approximation precision $ \varepsilon > 0 $. This shows that ANNs can overcome the curse of dimensionality in the numerical approximation of the heat equation when the error is measured in the uniform $L^\infty$-norm.

연구 동기 및 목표

• 기존 문헌에서 $L^p$-노름 오차 제어에 국한된 바 있는 PDE, 특히 열 방정식에 대한 ANN 근사에 대해 균일 $L^\infty$ 오차 추정을 수립함으로써 격차를 메우는 것.
• 오차가 균일 $L^\infty$-노름으로 측정될 때 딥러닝 기반 방법이 차원의 저주를 극복할 수 있음을 보여주는 것, 이는 더 엄격하고 실용적으로 관련성이 높은 척도임.
• 기존의 $L^p$ 기반 방법이 $L^\infty$ 설정으로 확장되지 않는 바, 고차원 PDE에서 균일 오차 제어를 다룰 수 있는 새로운 분석 기법을 개발하는 것.
• 제어 이론, 금융, 공학 시뮬레이션과 같이 점별 정밀도가 요구되는 응용 분야에서 ANNs의 사용에 대한 엄밀한 이론적 기반을 제공하는 것.

제안 방법

• 저자들은 브라운 운동의 확률적 분석, PDE 정규성 이론, 몬테카를로 근사 기법을 조합하여 정량적 $L^\infty$ 오차 추정을 유도함.
• 열 방정식 해의 확률적 표현을 피카르-카프 공식을 통해 활용함으로써, 오차 분석에서 확률 과정을 활용함.
• 핵심 기술 도구로는 계수 항이 선형인 확률적 미분 방정식의 해 및 해의 차이에 대한 사전 추정치를 포함하며, 특히 기하 브라운 운동에 대해 집중함.
• 이 방법은 PDE의 종료 조건을 근사하는 신경망 아키텍처를 구축하고, 깊은 네트워크 구조를 사용해 시간에 따라 전파하는 방식을 포함함.
• 근사 오차를 균일 노름에서 제어하기 위해 소볼레프 유형 추정치와 유클리드 볼의 체적 한계를 활용함.
• 증명 기법은 이전 연구들(예: Elbrächter 등 [20])과 마찬가지로 명시적 해석적 해에 의존하지 않으며, 대신 경로 기반 및 샘플 기반 수렴 논증을 사용함.

실험 결과

연구 질문

• RQ1 인공신경망이 열 방정식에 대해 균일 $L^\infty$-노름에서 오차를 측정할 때 차원의 저주를 극복할 수 있는가?
• RQ2 균일 오차 제어를 사용할 때, 차원 $d$와 원하는 정밀도 $\varepsilon$에 대해 ANN의 매개변수 수는 어떻게 의존하는가?
• RQ3 $L^p$-오차 추정에 사용된 기법들이 $L^\infty$-노름에서 균일 오차 경계를 도출하는 데 적응 가능한가?
• RQ4 차원에 독립적인 수렴 속도와 균일 오차 제어를 갖는 열 방정식에 대한 딥러닝 기반 근사 방법을 구성할 수 있는가?

주요 결과

• 시간 $T$에 대해 구간 $[a,b]^d$ 위에서 열 방정식 해의 균일 $\varepsilon$-근사에 필요한 매개변수 수는 $\kappa d^{11 + 4\max\{p, \frac{1}{2}\}} \varepsilon^{-4}$ 이하로 증가하며, 여기서 $\kappa$는 보편 상수이고 $p$는 초기 조건의 성장과 관련됨.
• 균일 $L^\infty$ 오차 경계는 차원 $d$와 역정밀도 $\varepsilon^{-1}$에 대해 다항식적 의존성으로 달성되며, 이는 ANNs가 이 노름에서 차원의 저주를 극복할 수 있음을 확인함.
• 이 결과는 초기 조건 $u_d(0,x) = \ln(1 + e^{x_1 + \cdots + x_d - K_d}) + K_d$ 류의 함수에 대해 성립하며, $|K_d| \leq c d^p$ 를 만족함. 이는 매끄럽고 지수적 성장보다 느린 함수임.
• 신경망 아키텍처는 출력이 $\mathbb{R}^d$ 상의 연속 함수가 되도록 구성되며, 네트워크 매개변수들은 $d$와 $\varepsilon$에 대해 명시적으로 유계로 제한됨.
• 증명은 전체 영역 $[a,b]^d$ 전역에서 균일하게 유계인 근사 오차를 확보하며, 평균 또는 적분적 의미에서의 오차가 아닌, 전역적인 의미에서의 유계성을 보장함.