[논문 리뷰] Deep neural network approximations for Monte Carlo algorithms

Philipp Grohs, Arnulf Jentzen외 1명|arXiv (Cornell University)|2019. 08. 28.

Model Reduction and Neural Networks참고 문헌 55인용 수 27

한 줄 요약

이 논문은 몬테카를로 방법을 사용해 차원의 극복 문제 없이 함수를 근사할 수 있다면, 딥 뉴럴 네트워크(DNN) 역시 동일한 조건 하에서 그 함수를 차원의 극복 문제 없이 근사할 수 있음을 보여주는 일반적인 프레임워크를 수립한다. 핵심 결과는 고차원 편미분방정식(PDE), 예를 들어 코모고로프 PDE의 해를 근사하기 위해 DNN이 필요한 매개변수 수에 대해 명시적인 다항식 경계를 제공한다. 이 경계는 오차 제어를 가능하게 한다.

ABSTRACT

Recently, it has been proposed in the literature to employ deep neural networks (DNNs) together with stochastic gradient descent methods to approximate solutions of PDEs. There are also a few results in the literature which prove that DNNs can approximate solutions of certain PDEs without the curse of dimensionality in the sense that the number of real parameters used to describe the DNN grows at most polynomially both in the PDE dimension and the reciprocal of the prescribed approximation accuracy. One key argument in most of these results is, first, to use a Monte Carlo approximation scheme which can approximate the solution of the PDE under consideration at a fixed space-time point without the curse of dimensionality and, thereafter, to prove that DNNs are flexible enough to mimic the behaviour of the used approximation scheme. Having this in mind, one could aim for a general abstract result which shows under suitable assumptions that if a certain function can be approximated by any kind of (Monte Carlo) approximation scheme without the curse of dimensionality, then this function can also be approximated with DNNs without the curse of dimensionality. It is a key contribution of this article to make a first step towards this direction. In particular, the main result of this paper, essentially, shows that if a function can be approximated by means of some suitable discrete approximation scheme without the curse of dimensionality and if there exist DNNs which satisfy certain regularity properties and which approximate this discrete approximation scheme without the curse of dimensionality, then the function itself can also be approximated with DNNs without the curse of dimensionality. As an application of this result we establish that solutions of suitable Kolmogorov PDEs can be approximated with DNNs without the curse of dimensionality.

연구 동기 및 목표

• 몬테카를로 근사 방법과 DNN 근사 간의 일반적인 이론적 프레임워크를 수립하여 차원의 극복 문제 없이 연결한다.
• 만약 어떤 함수가 차원의 극복 문제 없이 이산적 방법으로 근사 가능하다면, 그 함수는 DNN을 통해 역시 차원의 극복 문제 없이 근사 가능하다는 것을 보여준다.
• 주어진 정확도로 코모고로프 PDE의 해를 근사하기 위해 DNN에 필요한 매개변수 수에 대한 명시적 상한을 유도한다.
• DNN의 복잡도가 차원과 정확도에 따라 어떻게 의존하는지에 대한 정량적 추정을 제공하여 다항식 스케일링을 보장한다.

제안 방법

• 저자는 정규성 및 근사 조건 하에서 이산 몬테카를로 방법과 DNN 근사 간의 일반적인 근사 결과를 도입한다.
• 직선형 단위(ReLU)를 갖는 DNN의 클래스를 정의하고, 그 실현 함수 및 조합 규칙을 분석한다.
• 이 방법은 DNN이 주어진 몬테카를로 근사 방법의 행동을 제어 가능한 오차와 매개변수 수로 모방할 수 있음을 증명하는 데 의존한다.
• 핵심 기술 도구로는 고차원에서의 랜덤 변수의 $L^p$-노름과 공분산 행렬의 트레이스 노름에 대한 경계를 포함한다.
• 대상 함수의 스무스함과 성장 조건, 그리고 그 근사 방법에 대한 가정을 사용한다.
• 이론적 결과는 몬테카를로 오일러 방법이 DNN 근사에 필요한 조건를 충족함을 확인함으로써 코모고로프 PDE에 적용된다.

실험 결과

연구 질문

• RQ1 동일한 함수에 대해 몬테카를로 방법이 차원의 극복 문제 없이 근사 가능하다면, 딥 뉴럴 네트워크(DNN)도 고차원 함수를 차원의 극복 문제 없이 근사할 수 있는가?
• RQ2 주어진 오차 허용 범위 내에서 함수를 근사하기 위해 DNN에 필요한 매개변수 수에 대한 명시적 경계는 무엇인가?
• RQ3 함수와 그 근사 방법에 대해 어떤 조건을 만족해야 DNN이 해당 방법의 차원에 독립적인 수렴 성질을 물려받을 수 있는가?
• RQ4 DNN의 매개변수 수는 차원 $d$와 정확도 $\varepsilon$에 대해 어떻게 스케일링되는가?
• RQ5 이 일반적 프레임워크는 다항식 매개변수 성장으로 고차원 코모고로프 PDE의 해를 DNN으로 근사하는 데 적용 가능한가?

주요 결과

• 함수가 이산적 방법으로 차원의 극복 문제 없이 근사 가능하고, DNN이 그 방법을 제어 가능한 매개변수 수로 근사할 수 있다면, 그 함수 자체도 DNN을 통해 차원의 극복 문제 없이 근사 가능하다.
• DNN의 실수 매개변수 수는 차원 $d$와 역정확도 $\varepsilon^{-1}$에 대해 다항식적으로 증가하며, 명시적인 지수 값이 제공된다.
• 코모고로프 PDE의 해에 대해 DNN 근사 오차는 확률 측도 상에서 $L^p$-노름으로 $\varepsilon$ 이내로 경계될 수 있으며, 매개변수 수 $\mathcal{P}(\Psi_{d,\varepsilon}) \leq c\,d^c\varepsilon^{-c}$ 를 만족하는 상수 $c>0$ 가 존재한다.
• 적절한 순간 및 정규성 조건 하에서 초기 및 비선형 항이 다항식적으로 증가하는 PDE에 대해 프레임워크가 적용 가능하다.
• 확률 측도 $\nu_d$ 에 대한 약한 가정, 예를 들어 순간과 트레이스 노름의 균일한 유계성 등에 대해 결과가 강건하다.
• 분석 결과 DNN이 오차 제어와 다항식 복잡도를 갖추며 고차원 PDE 해를 근사할 수 있음을 확인하였으며, 지수적 스케일링을 피할 수 있다.