[논문 리뷰] Approximation error analysis of some deep backward schemes for nonlinear PDEs

Maximilien Germain, Huyên Pham외 1명|arXiv (Cornell University)|2020. 06. 02.

Stochastic processes and financial applications참고 문헌 4인용 수 14

한 줄 요약

이 논문은 고차원 비선형 PDE를 해결하기 위한 기계학습 기반 방법인 딥 백워드 다중단계 방법(MDBDP)을 소개한다. 이는 후행 확률 미분 방정식(Backward Stochastic Differential Equations, BSDEs)을 사용하며, 오차 전파를 줄이기 위해 다중단계 회귀를 활용함으로써 기존의 DBDP 및 딥 스플리팅과 비교해 정확도를 향상시킨다. 특정한 PDE 구조 하에서 깊이가 깊고 리프시츠 성질을 가진 GroupSort 활성화 함수를 갖는 신경망의 뉴런 수에 따른 수렴 속도를 확보한다.

ABSTRACT

Recently proposed numerical algorithms for solving high-dimensional nonlinear partial differential equations (PDEs) based on neural networks have shown their remarkable performance. We review some of them and study their convergence properties. The methods rely on probabilistic representation of PDEs by backward stochastic differential equations (BSDEs) and their iterated time discretization. Our proposed algorithm, called deep backward multistep scheme (MDBDP), is a machine learning version of the LSMDP scheme of Gobet, Turkedjiev (Math. Comp. 85, 2016). It estimates simultaneously by backward induction the solution and its gradient by neural networks through sequential minimizations of suitable quadratic loss functions that are performed by stochastic gradient descent. Our main theoretical contribution is to provide an approximation error analysis of the MDBDP scheme as well as the deep splitting (DS) scheme for semilinear PDEs designed in Beck, Becker, Cheridito, Jentzen, Neufeld (2019). We also supplement the error analysis of the DBDP scheme of Hur{\\'e}, Pham, Warin (Math. Comp. 89, 2020). This yields notably convergence rate in terms of the number of neurons for a class of deep Lipschitz continuous GroupSort neural networks when the PDE is linear in the gradient of the solution for the MDBDP scheme, and in the semilinear case for the DBDP scheme. We illustrate our results with some numerical tests that are compared with some other machine learning algorithms in the literature.

연구 동기 및 목표

• 기계학습을 이용한 고차원 비선형 PDE 해법에서 차원의 저주 문제를 해결하기 위해.
• 백워드 인덕션에 다중단계 회귀를 통합함으로써 기존의 딥 백워드 방법의 수치적 안정성과 정확도를 향상시키기 위해.
• MDBDP에 대한 엄밀한 근사 오차 분석을 제공하고, 이를 딥 스플리팅(DS) 방법으로까지 확장하기 위해.
• 최근의 깊이 신경망 근사 결과를 활용하여 DBDP 방법의 수렴 분석을 보완하기 위해.
• 다양한 차원에서의 수치 벤치마크를 통해 MDBDP가 DS, DBDP 및 DBSDE보다 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• MDBDP 방법은 확률적 경사 하강법을 사용해 순차적으로 제곱 손실 함수를 최소화하는 백워드 인덕션을 통해 해와 그 기울기를 동시에 추정한다.
• 이 방법은 LSMDP 방법의 기계학습 적응형 버전으로, BSDE의 반복적인 시간 이산화와 다중단계 회귀를 통해 오차 전파를 감소시킨다.
• 고차원 공간에서 해와 기울기를 근사하기 위해 GroupSort 활성화 함수를 갖는 깊이 신경망을 사용한다.
• 이론적 분석은 BSDE의 안정성 이론과 최신 깊이 신경망 근사 결과를 결합하여 뉴런 수에 따른 수렴 속도를 도출한다.
• 이 방법은 해의 기울기 선형성에 따라 설정된 반선형 PDE에 적용되며, MDBDP의 경우 기울기 선형성, DBDP의 경우 반선형 케이스에 적용된다.
• 수치적 검증은 차원이 증가하는 여러 테스트 케이스에서 MDBDP를 DBDP, DBSDE 및 DS와 비교하여 수행된다.

실험 결과

연구 질문

• RQ1 고차원 반선형 PDE에 대해 딥 백워드 다중단계 방법(MDBDP)의 근사 오차 행동은 어떠한가?
• RQ2 MDBDP에서 사용하는 다중단계 회귀 전략은 단일단계 방법에 비해 오차 전파를 어떻게 감소시키는가?
• RQ3 딥 네트워크의 뉴런 수에 따른 MDBDP의 수렴 속도는 어떻게 설정할 수 있는가?
• RQ4 MDBDP 방법은 기존의 DBDP, DBSDE 및 딥 스플리팅(DS) 방법과 비교해 수치적으로 어떻게 성능을 냈는가?
• RQ5 딥 스플리팅(DS) 방법으로의 이론적 오차 분석은 확장 가능한가?

주요 결과

• 수치 실험에서 MDBDP는 가장 낮은 표준편차를 기록했으며, 상대 오차는 d=10일 때 0.38%, d=20일 때 0.24%, d=50일 때 0.09%를 기록해 DS 및 기타 방법을 압도적으로 앞섰다.
• 해가 유계인 경우(d=50), MDBDP는 상대 오차가 단지 0.09%에 불과했고, DS의 3.62%에 비해 뚜렷이 낮았다.
• 해가 비유계인 경우(d=8), MDBDP는 상대 오차 0.47%를 기록했고, DBDP2의 7.28% 및 DS의 5.86%보다 훨씬 낮았다.
• 이론적 분석을 통해 기울기 선형성 및 반선형 PDE 조건 하에서 깊이가 깊고 리프시츠 성질을 가진 GroupSort 활성화 함수를 갖는 신경망의 뉴런 수에 따른 수렴 속도를 확립했다.
• MDBDP는 특히 고차원 및 복잡한 해 구조에서 DBDP 및 DS보다 뛰어난 안정성과 정확도를 보였다.
• 수치 결과는 MDBDP가 차원이 10을 초월해 증가함에 따라 다른 방법들이 악화되는 상황에서도 낮은 분산과 높은 정확도를 유지함을 확인했다.