[논문 리뷰] Deep learning based numerical approximation algorithms for stochastic partial differential equations

Christian Beck, S. Becker외 3명|arXiv (Cornell University)|2020. 12. 02.

Stochastic processes and financial applications참고 문헌 93인용 수 10

한 줄 요약

이 논문은 금융공학 및 필터링 응용 분야에서 나타나는 고차원 스토크라스틱 편미분방정식(SPDEs), 즉 스토크라스틱 열 방정식과 비선형 필터링을 위한 자카이 방정식을 해결하기 위한 딥러닝 기반 수치 알고리즘을 제안한다. 노이즈 과정의 각 실현값에 대해 해의 경로를 딥 네트워크로 근사함으로써, 계산 시간이 짧고 50차원까지의 공간 차원에서 정확한 결과를 도출하여 복잡한 고차원 SPDE 문제에 대한 효과성을 입증한다.

ABSTRACT

In this article, we introduce and analyze a deep learning based approximation algorithm for SPDEs. Our approach employs neural networks to approximate the solutions of SPDEs along given realizations of the driving noise process. If applied to a set of simulated noise trajectories, it yields empirical distributions of SPDE solutions, from which functionals like the mean and variance can be estimated. We test the performance of the method on stochastic heat equations with additive and multiplicative noise as well as stochastic Black-Scholes equations with multiplicative noise and Zakai equations from nonlinear filtering theory. In all cases, the proposed algorithm yields accurate results with short runtimes in up to 100 space dimensions.

연구 동기 및 목표

• 수학적 금융, 물리학, 필터링 분야에서 발생하는 고차원 스토크라스틱 편미분방정식(SPDEs)를 수치적으로 해결하는 데 도전하는 것.
• 기존 수치 방법의 차원의 극복 문제를 딥러닝을 활용하여 해결하는 것.
• 가산성 및 승수성 노이즈를 포함한 SPDEs, 특히 자카이 방정식을 다룰 수 있는 확장 가능하고 효율적이며 정확한 알고리즘을 개발하는 것.
• 스토크라스틱 열 방정식과 스토크라스틱 블랙-쇼스 방정식과 같은 기준 SPDE들에 대해 방법을 검증하는 것.
• 최대 50차원의 고차원 설정에서 짧은 실행 시간으로 딥러닝 기반 근사법의 실현 가능성과 성능을 입증하는 것.

제안 방법

• 기본 노이즈 경로의 각 실현값에 대해 SPDE의 해 과정을 근사하기 위해 딥 네트워크를 활용한다.
• 해를 피카르-카인 유형의 표현식을 사용한 반복 최소화 문제로 재구성함으로써 확률적 경사 하강법 최적화를 가능하게 한다.
• 보조 스토크라스틱 과정에 시간 이산화를 적용하고, 각 시간 단계에서 신경망을 사용해 해를 반복적으로 근사한다.
• 노이즈 실현값 배치에 대해 신경망을 훈련시키기 위해 적응형 학습률을 사용하는 확률적 경사 하강법을 사용한다.
• 스토크라스틱 열 방정식, 블랙-쇼스 방정식, 자카이 방정식 등 SPDE 유형별로 특화된 손실 함수와 네트워크 아키텍처를 포함한 특정 구현체를 개발한다.
• 검증을 위해 훈련, 추론 및 기준 해 계산을 포함한 파이썬 코드와 텐서플로우를 사용하여 알고리즘을 테스트한다.

실험 결과

연구 질문

• RQ1 기존 수치 방법으로는 해를 구하기 어려운 고차원 SPDE의 해를 딥러닝 기반 방법이 효과적으로 근사할 수 있는가?
• RQ2 가산성 및 승수성 노이즈를 포함한 SPDE 문제에서 제안된 알고리즘이 정확도와 계산 효율성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 다양한 공간 차원(최대 50차원)에서 딥 네트워크가 SPDE의 해 경로를 얼마나 잘 포괄할 수 있는가?
• RQ4 비선형 필터링에서 자카이 방정식에 대해 기준 해와 비교했을 때 상대 오차 측면에서 방법의 성능은 어떠한가?
• RQ5 최소한의 아키텍처 변경으로 다양한 SPDE 유형에 일반화할 수 있는가?

주요 결과

• 제안된 딥러닝 기반 알고리즘은 최대 50차원의 공간 차원을 가진 SPDE에 대해 정확한 수치 근사를 달성하며, 다양한 문제 유형에 대해 강건함을 입증한다.
• 가산성 및 승수성 노이즈를 포함한 스토크라스틱 열 방정식의 경우, 고차원에서도 낮은 상대 오차와 짧은 실행 시간을 기록한다.
• 자카이 방정식의 경우, 50차원 테스트 케이스에서 평균 상대 오차가 1% 미만이며, 추론 시간은 10초 이내였다.
• 고차원 설정에서 기존 수치적 방법에 비해 확장성과 계산 효율성 측면에서 뛰어난 성능을 보였다.
• 적응형 학습률을 사용하는 확률적 경사 하강법(최대 5000 및 10000단계 이격)을 적용함으로써 훈련의 안정성과 수렴 속도가 크게 향상되었다.
• 1000개의 샘플에 대한 몬테카를로 평균을 통해 계산된 기준 해는 신뢰할 수 있는 기준이 되었으며, 신경망 예측값은 모든 테스트 차원에서 기대값과 밀접하게 일치하였다.