[논문 리뷰] FBSDE based Neural Network Algorithms for High-Dimensional Quasilinear Parabolic PDEs

Wenzhong Zhang, Wei Cai|arXiv (Cornell University)|2020. 12. 14.

Advanced Mathematical Modeling in Engineering인용 수 4

한 줄 요약

이 논문은 고차원 비선형 포물형 PDE를 해결하기 위해 두 가지 FBSDE 기반의 딥 뉴럴 네트워크(DNN) 알고리즘을 제안한다. 이 방법은 이산화된 FBSDE와 DNN에 의해 근사된 해 사이의 경로별 차이를 활용하여 네트워크를 훈련시킨다. 이 방법은 오일러–마류야마 이산화와 유사한 거의 반계수 수렴 속도를 달성하여 정밀도를 향상시키기 위한 리치어드슨 보간법을 적용할 수 있으며, 100차원 블랙–쇼스–바렌블라트 방정식에 대해 다중스케일 DNN 아키텍처를 사용하여 진동하는 해에 대해 향상된 성능을 보인다.

ABSTRACT

In this paper, we propose forward and backward stochastic differential equations (FBSDEs) based deep neural network (DNN) learning algorithms for the solution of high dimensional quasilinear parabolic partial differential equations (PDEs), which are related to the FBSDEs by the Pardoux-Peng theory. The algorithms rely on a learning process by minimizing the pathwise difference between two discrete stochastic processes, defined by the time discretization of the FBSDEs and the DNN representation of the PDE solutions, respectively. The proposed algorithms are shown to generate DNN solutions for a 100-dimensional Black--Scholes--Barenblatt equation, accurate in a finite region in the solution space, and has a convergence rate similar to that of the Euler--Maruyama discretization used for the FBSDEs. As a result, a Richardson extrapolation technique over time discretizations can be used to enhance the accuracy of the DNN solutions. For time oscillatory solutions, a multiscale DNN is shown to improve the performance of the FBSDE DNN for high frequencies.

연구 동기 및 목표

• 기계 학습을 활용한 고차원 비선형 포물형 PDE 해결 시 차원의 저주 문제를 해결하기 위해.
• 전진·후진 확률미분방정식(FBSDE) 기반의 수학적으로 일관된 DNN 훈련 기법을 개발하기 위해.
• 특히 진동하거나 복잡한 해 구조를 가지는 고차원 PDE에 대해 DNN 해의 수렴성과 정밀도를 향상시키기 위해.
• 시간 진동 문제에 대해 리치어드슨 보간법과 다중스케일 DNN 아키텍처를 통해 오차를 감소시킬 수 있도록 하기 위해.

제안 방법

• 이 방법은 파르두–펜 정리에 따라 전진 SDE와 연결된 후진 확률과정으로서 PDE 해를 공식화한다.
• DNN 출력과 시간 이산화된 FBSDE 과정 사이의 경로별 차이를 최소화하여 DNN이 해를 근사하도록 훈련시킨다.
• 손실 함수는 PDE의 종단 조건과 FBSDE 이산화 과정에서 유도된 확률과정과 DNN 출력 사이의 이질성(차이)을 조합한다.
• 알고리즘은 FBSDE를 시간 이산화하기 위해 오일러–마류야마 방법을 사용하고, 샘플된 경로를 기반으로 확률적 경사하강법을 통해 DNN를 훈련시킨다.
• 진동하는 해에 대해서는, 입력이 하위 네트워크들 간에 스케일링되는 다중스케일 DNN(MscaleDNN)을 사용하여 다양한 시간 주파수를 포착한다.
• 다양한 시간 이산화 수준에서 리치어드슨 보간법을 적용하여 DNN 해의 수렴 속도와 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 FBSDE 기반 DNN 알고리즘이 고차원 비선형 포물형 PDE에 대해 기저의 오일러–마류야마 이산화와 유사한 수렴 속도를 달성할 수 있는가?
• RQ2 FBSDE 이산화와 DNN 근사 사이의 경로별 차이를 효과적으로 최소화하여 수치적 일관성을 확보할 수 있는가?
• RQ3 관측된 수렴 차수를 고려할 때, DNN 해의 PDE에 대해 리치어드슨 보간법을 성공적으로 적용하여 정밀도를 향상시킬 수 있는가?
• RQ4 다중스케일 DNN 아키텍처가 고차원 PDE에서 시간 진동 해의 근사에 상당한 향상을 이룰 수 있는가?

주요 결과

• 제안된 FBSDE 기반 DNN 알고리즘은 FBSDE 이산화에 사용된 오일러–마류야마 방법의 거의 반계수 강수렴 속도와 유사한 수렴 속도를 달성한다.
• 100차원 블랙–쇼스–바렌블라트 방정식에 대해, 유한한 해 영역 내에서 정확한 해를 생성한다.
• 다양한 시간 이산화 수준에서 리치어드슨 보간법을 적용하면 오차가 약 50% 감소하며, 이는 DNN 해의 수렴 차수를 확인하는 데 기여한다.
• 파arameters α=0.025, β=0.25, γ=32 인 진동하는 시간 의존 해에 대해, MscaleDNN은 완전히 연결된 DNN 대비 총 오차를 50% 감소시킨다.
• 수치 실험을 통해 MscaleDNN이 진동하는 PDE의 샘플 경로 예측을 더 정확하게 수행함을 입증하였다.