[논문 리뷰] DGM: A deep learning algorithm for solving partial differential equations

Justin Sirignano, Konstantinos Spiliopoulos|RePEc: Research Papers in Economics|2017. 08. 24.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 고차원 편미분방정식(PDE)을 해결하기 위해 공간-시간 영역에서 무작위로 샘플링한 점들에 대해 확률적 경사하강법을 사용하여 깊이 신경망이 PDE, 초기 조건, 경계 조건을 만족하도록 훈련시키는 메esh리스 딥 러닝 알고리즘인 딥 갈레르킨 방법(DGM)을 소개한다. 이 방법은 자유 경계 문제, 하미튼-자코비-벨리만 방정식, 버거스 방정식을 포함한 최대 200차원의 PDE에서도 정확한 해를 도출하며, 강력한 근사 능력과 수렴 보장 성질을 입증한다.

ABSTRACT

High-dimensional PDEs have been a longstanding computational challenge. We propose to solve high-dimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to $200$ dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.

연구 동기 및 목표

• 기존의 메쉬 기반 방법(예: 유한차분법)이 차원의 극복 문제로 인해 차원이 높아질수록 비현실적이 되는 고차원 편미분방정식(PDE)을 해결하는 데 오랫동안 지속된 계산적 과제를 해결하기 위해.
• 공간과 시간 영역에서 무작위로 샘플링한 점들에 대해 확률적 경사하강법으로 훈련되는 깊이 신경망을 사용하여 PDE의 해를 근사하는 메쉬리스 딥 러닝 알고리즘을 개발하기 위해.
• 일부 비선형 편미분방정식에 대해 이론적으로 탄탄한 수렴 보장을 제공하는 방법을 제안하여 딥 러닝의 적용 가능성을 물리학, 금융, 공학 분야의 복잡한 PDE 문제에까지 확장하기 위해.
• 특히 미국형 옵션 가격 결정과 같은 고차원 포트폴리오에서 반해석적 해가 존재하지 않는 고차원 PDE 문제에 대해 알고리즘의 정확도를 평가하기 위해.

제안 방법

• 딥 갈레르킨 방법(DGM)은 갈레르킨 방법에서 사용하는 기저 함수의 선형 조합 대신 깊이 신경망을 사용하여 PDE의 해를 근사한다.
• 신경망은 무작위로 샘플링한 공간-시간 영역의 점들에서 PDE 연산자, 초기 조건, 경계 조건 위반에 대한 손실 함수를 최소화하도록 확률적 경사하강법으로 훈련된다.
• 메쉬 생성을 피하기 위해 영역 전역에 균일하거나 무작위로 점들을 샘플링함으로써, 정렬된 메쉬가 계산적으로 불가능한 고차원 영역로의 확장성을 확보한다.
• 알고리즘은 비선형 편미분방정식에 적용되며, 약한 수렴과 바이탈리의 정리에 기반한 이론적 수렴이 입증되어 $ L^\rho $ 공간에서 $ \rho < 2 $ 인 경우 강수렴이 성립함을 보여준다.
• 경계 조건이 존재하는 문제의 경우, 손실 함수에 경계 조건을 포함하여 처리하며, 균일한 유계성과 등연속성 조건 하에 경계 값의 수렴이 입증된다.
• 이 방법은 고차원 하미튼-자코비-벨리만 PDE와 버거스 방정식을 해결하기 위해 확장되었으며, 네트워크는 경계 조건과 물리적 조건의 연속체를 통해 일반적인 해를 학습한다.

실험 결과

연구 질문

• RQ1 메쉬에 의존하지 않고 고차원 PDE의 미분 연산자, 초기 조건, 경계 조건을 만족하도록 깊이 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 딥 뉴럴 네트워크의 비선형 편미분방정식 근사 능력은 어떠한가? 그리고 이론적으로 수렴을 입증할 수 있는가?
• RQ3 딥 갈레르킨 방법은 반해석적 해가 존재하지 않는 미국형 옵션 가격 결정에서 발생하는 고차원 자유 경계 PDE 문제에 대해 정확한 해를 도출할 수 있는가?
• RQ4 경계 조건과 물리적 조건의 범위가 다양할 경우, 예를 들어 다양한 입력 조건을 가진 버거스 방정식을 해결하기 위해 DGM이 어떻게 성능을 발휘하는가?
• RQ5 기존의 유한차분법이 실패하는 고차원(예: 최대 200차원) 환경에서도 이 방법은 수렴성과 정확도를 유지할 수 있는가?

주요 결과

• DGM은 최대 200차원까지의 고차원 자유 경계 PDE 문제를 성공적으로 해결하며, 임의의 근사 해에 대해 오차 한계를 계산할 수 있어 엄밀한 정확도 평가가 가능하다.
• 확률적 열 방정식 최적 제어 문제에서 유래한 고차원 하미튼-자코비-벨리만 PDE에 대해서도 정확한 해를 도출하여, 확률적 제어 문제에의 적용 가능성을 입증한다.
• 버거스 방정식의 경우, 깊이 신경망이 경계 조건과 물리적 조건의 연속체를 통해 일반적인 해를 학습하며, 단일 훈련 런으로 고차원 문제를 효과적으로 해결한다.
• 이론적 분석을 통해 신경망 근사가 $ \rho < 2 $ 인 $ L^\rho $ 공간에서 강수렴함을 입증하였으며, 바이탈리의 정리와 약한 공식 수렴을 통해 이를 확보하였다.
• 균일한 유계성과 등연속성 조건 하에 신경망 해가 진짜 해로 수렴함을 보였으며, 수열이 등연속성이면 균일 수렴이 보장된다.
• 메쉬 기반 이산화를 대체하여 무작위 샘플링을 사용함으로써 차원의 극복 문제를 피하고 고차원 영역에서의 확장 가능한 훈련을 가능하게 하였다.