[논문 리뷰] Rectified deep neural networks overcome the curse of dimensionality for nonsmooth value functions in zero-sum games of nonlinear stiff systems

Christoph Reisinger, Yufei Zhang|arXiv (Cornell University)|2019. 03. 15.

Model Reduction and Neural Networks참고 문헌 57인용 수 36

한 줄 요약

본 논문은 Rectified deep neural networks가 다차원적이고 강직한 제어 SDEs가 0합 게임에서 비매끄러운 가치 함수를 다항식(지수적이 아닌) 복잡도로 근사할 수 있으며, 차원의 저주를 효과적으로 극복한다는 것을 증명한다. 또한 이 결과를 관련 Kolmogorov 편미분방정식의 점성 해(solution) 해와의 연계로 연결한다.

ABSTRACT

In this paper, we establish that for a wide class of controlled stochastic differential equations (SDEs) with stiff coefficients, the value functions of corresponding zero-sum games can be represented by a deep artificial neural network (DNN), whose complexity grows at most polynomially in both the dimension of the state equation and the reciprocal of the required accuracy. Such nonlinear stiff systems may arise, for example, from Galerkin approximations of controlled stochastic partial differential equations (SPDEs), or controlled PDEs with uncertain initial conditions and source terms. This implies that DNNs can break the curse of dimensionality in numerical approximations and optimal control of PDEs and SPDEs. The main ingredient of our proof is to construct a suitable discrete-time system to effectively approximate the evolution of the underlying stochastic dynamics. Similar ideas can also be applied to obtain expression rates of DNNs for value functions induced by stiff systems with regime switching coefficients and driven by general Lévy noise.

연구 동기 및 목표

• 고차원적이고 강직한 SDEs에서 SPDE/PDE 이산화로부터 발생하는 가치 함수 근사 문제를 동기화하고 형식화한다.
• 깊은 신경망이 차원 및 정확도에 대해 이러한 가치 함수를 다항식 복잡도로 근사할 수 있음을 보인다.
• 네트워크 구성을 가능하게 하는 이산-시간 동역학 프레임워크와 이항단계 말단 비용 근사를 개발한다.
• 결과를 통제된 SDE로 확장하고 관련 PDE의 점성 해에 대한 시사점을 논의한다.

제안 방법

• 확률적 동역학의 진화를 근사하기 위해 적합한 이산-시간 동역학 시스템을 구성한다.
• 제곱적으로 증가하는 비용을 다루기 위해 말단 비용의 두 단계 근사를 활용한다.
• 강직한 SDE에서 차원 의존 오차를 제어하기 위해 부분-암시적 Euler 이산화(discretization)를 사용한다.
• 이산-시간 동역학 및 비용 함수들을 표현하기 위해 정류(ReLU) 신경망을 구축한다.
• 결과로 얻어진 신경망의 복잡도가 차원 d와 역상수 ε의 다항식으로 증가함을 증명한다.
• 무통제 및 통제된 SDE 모두에 프레임워크를 적용하고, Kolmogorov 역방향 PDE의 점성 해와의 관계를 논의한다.

실험 결과

연구 질문

• RQ1 깊은 신경망이 상태 차원 및 정확도에 다항식 복잡도로 고차원적이고 강직한 SDE의 가치 함수를 표현할 수 있는가?
• RQ2 SDE 계수의 단조성 및 규칙성 조건하에서 신경망이 이들 가치 함수에 대해 차원의 저주를 극복하는가?
• RQ3 부분-암시적(discretizations) 이산화를 어떻게 사용하여 강직 SDE의 진화를 근사하는 신경망을 구성할 수 있는가?
• RQ4 근사 결과가 Kolmogorov 역방향 PDE 및 규칙 전환(regime-switching) 또는 Lévy 노이즈 확장을 갖는 통제된 SDE에 확장되는가?

주요 결과

• 다항식 복잡도 ≤ c d^c ε^{-c} 의 복잡도를 가지는 DNN의 가족 {ψ_{ε,d}}이 존재하여 v_d를 L^2(ν_d)에서 정확도 ε로 근사한다.
• v_d에 대한 근사 오차는 유한 모멘트 분포 ν_d에 대한 L^2 노름으로 측정되며, 신경망은 목표 ε를 달성한다.
• 드리프트 및 확산 계수의 단조성 조건하에서 결과가 성립하며, 이는 해의 규칙성 및 이산화 오차를 차원에 대해 다항식으로 제어하게 한다.
• 한 가지의 결론은 강직 계수를 갖는 Kolmogorov 역방향 PDE의 점성 해를 다항식 복잡도의 DNN으로 근사할 수 있음을 보여준다.
• 프레임워크는 시간-비동질적 비선형 계수를 수용하고 차원 의존적 Lipschitz 상수를 허용하여 이전의 선형 계수 결과를 확장한다.
• 본 방법은 SPDE의 갈러간(Galerkin) 근사 및 기타 강직 시스템으로부터의 가치 함수에 대한 차원의 저주를 극복하도록 한다.