[논문 리뷰] Forward-Backward Stochastic Neural Networks: Deep Learning of High-dimensional Partial Differential Equations

Maziar Raissi|arXiv (Cornell University)|2018. 04. 19.

Model Reduction and Neural Networks인용 수 45

한 줄 요약

이 논문은 Forward-Backward Stochastic Neural Networks (FBSNNs)을 제안하여 해 u(t,x)를 신경망으로 표현하고, discretized forward-backward SDE를 통해 학습함으로써 시공간 어느 곳에서나 u(t,x)를 평가할 수 있게 고차원 PDE의 해를 근사한다.

ABSTRACT

Classical numerical methods for solving partial differential equations suffer from the curse dimensionality mainly due to their reliance on meticulously generated spatio-temporal grids. Inspired by modern deep learning based techniques for solving forward and inverse problems associated with partial differential equations, we circumvent the tyranny of numerical discretization by devising an algorithm that is scalable to high-dimensions. In particular, we approximate the unknown solution by a deep neural network which essentially enables us to benefit from the merits of automatic differentiation. To train the aforementioned neural network we leverage the well-known connection between high-dimensional partial differential equations and forward-backward stochastic differential equations. In fact, independent realizations of a standard Brownian motion will act as training data. We test the effectiveness of our approach for a couple of benchmark problems spanning a number of scientific domains including Black-Scholes-Barenblatt and Hamilton-Jacobi-Bellman equations, both in 100-dimensions.

연구 동기 및 목표

• 신경망을 이용해 고차원 PDE를 해결하는 데 있어 차원의 저주를 동기 부여하고 해결한다.
• 未知 해 u(t,x)를 신경망으로 학습하고 자동 미분을 통해 Du(t,x)의 기울기를 얻는다.
• Forward-backward SDE와 확산성 편미분 방정식 사이의 연결을 활용하여 Euler–Maruyama 이산화로 네트워크를 학습한다.
• 전체 해 면(u(t,x))를 제공하는 통합 프레임워크를 달성하고 초기 시점 값만이 아닌 전체 해를 제공한다.
• Black-Scholes-Barenblatt 및 Hamilton-Jacobi-Bellman 등의 100D와 같은 대표적인 고차원 문제에 적용 가능성을 입증한다.

제안 방법

• 未知 해 u(t,x)를 심층 신경망으로 근사하고 Du(t,x)는 자동 미분으로 계산한다.
• Forward-backward SDE를 고차원 PDE와 연관지어 Yt=u(t,Xt)와 Zt=Du(t,Xt)가 성립하도록 하여 SDE 데이터로 PDE 해를 얻는다.
• Euler-Maruyama를 사용해 FBSDE 시스템을 이산화하고, 다수의 위상 Brownian 구현에 걸쳐 동역학과 말단 조건을 강제하는 손실을 정의한다.
• Adam 최적화를 통해 손실을 최소화하도록 네트워크를 학습하여 글로벌 해 면(u(t,x))를 학습한다.
• 시간 이산화 전개를 피하기 위해 u(t,x)에 단일 신경망을 사용하고 따라서 Du(t,x) 매개변수도 공유한다.

실험 결과

연구 질문

• RQ1 偏微분(편미분) PDE를 Forward-backward SDE를 통해 정확하게 근사하도록 PDE 해를 나타내는 신경망을 학습할 수 있는가?
• RQ2 한 번의 학습 라운드에서 초기값 u(0,ξ)뿐만 아니라 시공간 전체 해 u(t,x)를 얻을 수 있는가?
• RQ3 Black-Scholes-Barenblatt 및 Hamilton-Jacobi-Bellman 같은 100차원 벤치마크 문제에서 방법은 어떻게 작동하는가?
• RQ4 초기 시점 값만 근사하던 이전 방법과 비교하여 정확도와 계산 효율성은 어떤 특성을 보이는가?
• RQ5 고차원 PDE에 필요한 기울기 Du(t,x)를 자동 미분으로 신뢰성 있게 제공할 수 있는가?

주요 결과

• FBSNN 프레임워크가 100D 문제에서 단일 학습 라운드로 전체 해 함수 u(t,x)를 근사할 수 있다.
• 이 방법은 이전의 메시 기반 및 신경망 접근법에 비해 경쟁력 있는 정확도와 속도를 달성하며, 100D 문제에서 명시적 결과를 시연한다.
• 자동 미분은 유한 차분 없이 Du(t,x)의 정확한 계산을 가능하게 하며, u와 Du를 공유하는 단일 신경망을 활용한다.
• 손실을 이끌고 forward-backward 동역학을 강제하기 위해 여러 Brownian 실현(M=100 등)을 사용한다.
• 해는 대표적인 고차원 경로에서의 관측 가능한 궤적 추정 Yt=u(t,Xt)를 제공하며 초기값 뿐만이 아니다.