[논문 리뷰] Solving Nonlinear and High-Dimensional Partial Differential Equations via Deep Learning

Ali Al-Aradi, Adolfo Correia외 3명|arXiv (Cornell University)|2018. 11. 21.

Model Reduction and Neural Networks인용 수 31

한 줄 요약

이 논문은 비선형성과 고차원성을 띤 편미분방정식(PDE)을 해결하기 위한 메쉬-프리 딥 러닝 접근법인 딥 갈레르킨 방법(DGM)을 제안한다. 이 방법은 딥 네ural 네트워크를 훈련시켜 PDE, 초기/경계 조건을 손실 최소화를 통해 만족시키는 방식이다. 이 방법은 차원의 극복 문제를 효과적으로 완화하고, 옵션 가격 설정과 평균장 게임을 포함한 금융량적 분야의 다양한 PDE에서 뛰어난 성능을 보여준다.

ABSTRACT

In this work we apply the Deep Galerkin Method (DGM) described in Sirignano and Spiliopoulos (2018) to solve a number of partial differential equations that arise in quantitative finance applications including option pricing, optimal execution, mean field games, etc. The main idea behind DGM is to represent the unknown function of interest using a deep neural network. A key feature of this approach is the fact that, unlike other commonly used numerical approaches such as finite difference methods, it is mesh-free. As such, it does not suffer (as much as other numerical methods) from the curse of dimensionality associated with highdimensional PDEs and PDE systems. The main goals of this paper are to elucidate the features, capabilities and limitations of DGM by analyzing aspects of its implementation for a number of different PDEs and PDE systems. Additionally, we present: (1) a brief overview of PDEs in quantitative finance along with numerical methods for solving them; (2) a brief overview of deep learning and, in particular, the notion of neural networks; (3) a discussion of the theoretical foundations of DGM with a focus on the justification of why this method is expected to perform well.

연구 동기 및 목표

• 금융량적 분야에서 발생하는 고차원 비선형 PDE를 해결하기 위한 확장 가능하고 메쉬-프리 수치 방법을 개발한다.
• 유한 차분법 및 유한 요소법과 같은 전통적 수치 방법이 차원의 극복 문제로 인해 고차원 문제에 적용될 때 겪는 한계를 해결한다.
• 다양한 유형의 PDE와 실제 금융 응용 분야에서의 딥 갈레르킨 방법의 효과성, 강건성, 실용적 구현 과제를 조사한다.
• 샘플링 전략, 사전 지식 통합, 훈련 기간이 DGM 성능에 미치는 영향을 탐색하여 실무자에게 실용적 지침을 제공한다.

제안 방법

• PDE의 해를 딥 네ural 네트워크로 표현하고, 네트워크 파라미터를 PDE 잔여항, 초기/경계 조건 위반, 경계 조건 오류의 손실을 최소화하도록 훈련시킨다.
• PDE의 정의역에서 무작위 샘플링을 통해 손실 계산을 위한 훈련 데이터 포인트를 생성하여 구조적 격자 없이 계산을 가능하게 한다.
• PDE 잔여항, 초기/경계 조건 위반, 경계 조건 오류를 포함한 복합 손실 함수를 최소화하는 방식으로 확률적 경사 하강법을 통해 네트워크를 훈련시킨다.
• 해의 알려진 점근적 행동이나 대칭성과 같은 사전 지식을 네트워크 아키텍처나 손실 함수에 통합하여 수렴성과 정확도를 향상시킨다.
• 특히 PDE 잔여항이 높은 영역에서 영역의 균형 잔여 영역을 유지하기 위해 훈련 중에 재샘플링 기법을 적용한다.
• CPU 및 GPU에서의 훈련 성능을 비교하여 하드웨어 민감도와 확장성을 평가하며, 특히 더 깊고 넓은 네트워크 아키텍처에서의 성능을 분석한다.

실험 결과

연구 질문

• RQ1 정의역에 대한 샘플링 분포의 선택이 딥 갈레르킨 방법의 정확도와 수렴성에 미치는 영향은 어떠한가?
• RQ2 해의 구조에 대한 사전 지식이 복잡한 PDE를 해결하는 데 있어 DGM의 성능과 안정성에 얼마나 기여하는가?
• RQ3 훈련 기간이 DGM의 최종 정확도에 미치는 영향은 어떠한가? 계산 비용과 해의 품질 간의 상충 관계는 무엇인가?
• RQ4 DGM은 다양한 PDE 유형으로 일반화될 수 있는가? 아키텍처나 훈련 수정이 메타-일반화 능력을 향상시키는 데 어떤 역할을 하는가?
• RQ5 DGM의 성능는 네트워크 깊이와 너비에 따라 어떻게 변화하는가? 하드웨어(CPU 대 GPU)는 훈련 효율성에 어떤 역할을 하는가?

주요 결과

• 딥 갈레르킨 방법은 블랙-숄즈 방정식, 포커-플랭크 방정식, 평균장 게임을 포함한 고차원 비선형 PDE를 매우 높은 정확도로 효과적으로 해결한다.
• 샘플링 전략이 DGM 성능에서 가장 중요한 요소이다: 무작위 샘플링만으로는 부족하며, 도메인 인식 샘플링이 해의 정확도를 크게 향상시킨다.
• 해의 알려진 경계 행동이나 대칭성과 같은 사전 지식을 통합하면 수렴 속도가 빨라지고 결과가 향상된다.
• 훈련 시간은 성능에 큰 영향을 미친다: 더 긴 훈련 기간은 더 나은 해를 제공하며, DGM이 장기 최적화에서 유리함을 보인다.
• 작은 네트워크에서는 DGM 계산 그래프의 병렬 처리 기회가 제한되어 GPU 훈련이 CPU보다 느릴 수 있으나, 더 깊고 넓은 아키텍처에서는 이 반전된다.
• 더 큰 네트워크에서는 GPU에서 뚜렷한 성능 우위를 보이며, 네트워크 복잡도가 증가할수록 훈련 시간이 크게 감소한다.