[논문 리뷰] Space-time error estimates for deep neural network approximations for differential equations

Philipp Grohs, Fabian Hornung외 2명|arXiv (Cornell University)|2019. 08. 11.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 오일러 유형의 시간 이산화를 사용하여 왜곡된 확률적 미분 방정식의 해에 대한 딥 뉴럴 네트워크(DNN) 근사에 대해 공간-시간 오차 추정을 수립한다. 새로운 인공 신경망(ANN) 미적분학을 개발하고, 곱셈과 오일러 단계를 근사하는 DNN을 구성함으로써, 저자들은 DNN 근사 오차가 층 수와 뉴런 수에 대해 다항식적으로 감소함을 증명하며, 이는 시간 범위, 차원, 네트워크 깊이에 따라 명시적인 상한을 갖는다.

ABSTRACT

Over the last few years deep artificial neural networks (DNNs) have very successfully been used in numerical simulations for a wide variety of computational problems including computer vision, image classification, speech recognition, natural language processing, as well as computational advertisement. In addition, it has recently been proposed to approximate solutions of partial differential equations (PDEs) by means of stochastic learning problems involving DNNs. There are now also a few rigorous mathematical results in the scientific literature which provide error estimates for such deep learning based approximation methods for PDEs. All of these articles provide spatial error estimates for neural network approximations for PDEs but do not provide error estimates for the entire space-time error for the considered neural network approximations. It is the subject of the main result of this article to provide space-time error estimates for DNN approximations of Euler approximations of certain perturbed differential equations. Our proof of this result is based (i) on a certain artificial neural network (ANN) calculus and (ii) on ANN approximation results for products of the form $[0,T] imes \mathbb{R}^d i (t,x)\mapsto tx\in \mathbb{R}^d$ where $T\in (0,\infty)$, $d\in \mathbb{N}$, which we both develop within this article.

연구 동기 및 목표

• 기존 문헌에서 공간 오차 추정에 국한되어 있는 바를 메우기 위해, 왜곡된 미분 방정식의 해에 대한 DNN 근사에 대해 엄밀한 공간-시간 오차 추정을 제공하는 것.
• 시간에 따라 변화하는 PDE와 확률 과정의 DNN 근사를 분석하기 위해 특화된 포괄적인 인공 신경망(ANN) 미적분학을 개발하는 것.
• 확률적 미분 방정식의 오일러 이산화에서 나타나는 곱셈과 복합 구조를 정확히 근사하는 DNN을 구성하는 것.
• 공간 및 시간 영역에서 오일러 스킴의 DNN 근사에 대해 사전 및 사후 오차 추정을 유도하는 것.
• 공간-시간 영역에서 주어진 정확도를 달성하기 위해 필요한 네트워크 크기(파rameter 수)에 대한 명시적 상한을 수립하는 것.

제안 방법

• 복잡한 함수 근사를 모델링하기 위해, 조합, 병렬화, 덧셈, 확장 등을 포함한 인공 신경망(ANN)에 대한 형식적 미적분학을 개발하였다.
• 제곱 함수 및 다차원 곱셈과 같은 핵심 연산에 대한 ANN 표현을 도입하여, 오일러 단계 근사에 대한 DNN 구성이 가능하도록 하였다.
• ReLU 활성화 함수를 사용하여, 중첩된 오일러 단계를 통해 왜곡된 확률적 미분 방정식의 해를 근사하는 DNN을 구성하였다.
• 공간-시간 영역에서 진짜 오일러 근사와 그 DNN 표현 간의 차이를 상한으로 제시함으로써 사전 오차 추정을 수립하였다.
• 특히 고차원 벡터의 합과 곱에 대해 노름의 성장을 제어하기 위해 젠센의 부등식과 홀더 부등식을 사용하였다.
• 네트워크 파rameter 상한과 오차 전파 분석을 결합하여, 근사 오차가 네트워크 깊이, 너비, 시간 이산화 단계 크기와 어떻게 명시적으로 의존하는지를 도출하였다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 왜곡된 확률적 미분 방정식의 해에 대해 정확한 공간-시간 근사를 제공할 수 있는가?
• RQ2 DNN의 크기(파arameter 수)와 공간-시간 영역에서의 근사 오차 사이의 관계는 무엇인가?
• RQ3 DNN 기반 미분 방정식 해법의 엄밀한 오차 분석을 뒷받침하기 위해, 인공 신경망 미적분학을 체계적으로 어떻게 개발할 수 있는가?
• RQ4 SDE의 오일러 이산화를 근사할 때 DNN의 근사 오차에 대한 명시적 상한은 무엇인가?
• RQ5 공간과 시간 모두에 걸쳐 DNN 근사의 오차를 균일하게 제어할 수 있으며, 수렴 속도는 어떠한가?

주요 결과

• 이 논문은 기존에 공간 오차 상한에 국한되어 있던 연구를 넘어서, 왜곡된 확률적 미분 방정식의 해에 대한 DNN 근사에 대해 처음으로 공간-시간 오차 추정을 수립하였다.
• DNN 근사 오차는 층 수와 뉴런 수에 대해 다항식적으로 감소하며, 시간 범위 T, 차원 d, 네트워크 깊이에 대해 명시적인 의존성을 갖는다.
• 오차 상한은 $ \|Y^{d,N}_{t,x} - \mathcal{R}_a(\Psi_{\varepsilon,d,N,y})(t,x)\| \leq 20c^6 d^{1/2} N^{3/2} \varepsilon (1 + \|x\|^3 + \|y\|^3) $ 형태이며, $ \varepsilon $ 는 근사 정확도를 제어한다.
• DNN의 파arameter 수는 $ \mathcal{P}(\Psi_{\varepsilon,d,N,y}) \leq 54c^4 N^6 d^{16+8\mathfrak{d}} (1 + |\ln \varepsilon|^2) $ 로 상한이 주어지며, 이는 시간 이산화 수 N, 차원 d, 정확도 $ \varepsilon $ 에 대해 명시적인 의존성을 보여준다.
• 분석은 DNN이 오일러 스킴의 해를 다항식적으로 d와 N에 대해, $ \varepsilon^{-1} $ 에 대해 로그적으로 증가하는 오차로 근사할 수 있음을 증명하며, 이는 확장성 보장한다.
• 결과는 새로운 ANN 미적분학과 곱셈 및 복합 구조의 근사에 기반하여 도출되었으며, 전체 공간-시간 근사 과정에 대한 엄밀한 제어를 가능하게 한다.