[논문 리뷰] Interpolating between BSDEs and PINNs: deep learning for elliptic and parabolic boundary value problems

Nikolas Nüsken, Lorenz Richter|arXiv (Cornell University)|2021. 12. 07.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 고차원 타원형 및 방정형 PDE를 해결하기 위해 물리법에 기반한 신경망(PINNs)과 깊은 역방향 확률미분방정식(Deep BSDEs)을 통합하는 새로운 최적화 목표인 확산 손실(diffusion loss)을 제안한다. 시간 매개변수 𝔷를 조절함으로써 국소적(PINN 유사) 및 전역적(_BSDE 유사) 근사 전략을 통합하며, 복잡한 도메인과 고유값 문제에서 향상된 성능을 보이며, 비선형 슈뢰딩거 방정식 및 포커-플랑크 방정식을 포함한 문제들에 대해 유의미한 성과를 보였다.

ABSTRACT

Solving high-dimensional partial differential equations is a recurrent challenge in economics, science and engineering. In recent years, a great number of computational approaches have been developed, most of them relying on a combination of Monte Carlo sampling and deep learning based approximation. For elliptic and parabolic problems, existing methods can broadly be classified into those resting on reformulations in terms of $ extit{backward stochastic differential equations}$ (BSDEs) and those aiming to minimize a regression-type $L^2$-error ($ extit{physics-informed neural networks}$, PINNs). In this paper, we review the literature and suggest a methodology based on the novel $ extit{diffusion loss}$ that interpolates between BSDEs and PINNs. Our contribution opens the door towards a unified understanding of numerical approaches for high-dimensional PDEs, as well as for implementations that combine the strengths of BSDEs and PINNs. The diffusion loss furthermore bears close similarities to $ extit{(least squares) temporal difference}$ objectives found in reinforcement learning. We also discuss eigenvalue problems and perform extensive numerical studies, including calculations of the ground state for nonlinear Schrödinger operators and committor functions relevant in molecular dynamics.

연구 동기 및 목표

• 딥러닝을 이용한 고차원 타원형 및 방정형 PDE 해법에서 차원의 고통 문제를 해결하기 위해.
• PINNs와 깊은 BSDEs라는 두 가지 주요 딥러닝 접근법을 공통 최적화 프레임워크를 통해 통합하기 위해.
• PINN과 BSDE 형식을 부드럽게 연결하는 새로운 손실 함수(확산 손실)를 개발하기 위해.
• 비선형 고유값 문제 및 복잡한 경계 기하학을 포함한 도전적인 문제들에서 방법의 효과성을 입증하기 위해.
• 강화학습의 시간 차이 학습과의 연결 고리를 탐색하고, 매개변수에 의존하는 PDEs로 프레임워크를 확장하기 위해.

제안 방법

• 보조 시간 매개변수 𝔷를 통해 PINN와 깊은 BSDE 목표 간의 연속적 보간을 제공하는 확산 손실 ℒ_diffusion^𝔷를 제안한다.
• 이토의 공식을 통해 확산 손실을 유도하며, SDE dX_s = b(X_s,s)dt + σ(X_s,s)dW_s의 생성자 L을 통해 PDE 해와 확률과정을 연결한다.
• 𝔷 → 0일 때, 손실은 샘플된 점들에서 PDE 잔차의 국소적 PINN 스타일 오차로 축소된다.
• 𝔷 → ∞일 때, 손실은 역방향 SDE의 종단 조건 오차로 수렴하며, 깊은 BSDE의 특징이다.
• 공간-시간 도메인과 경계에서 몬테카를로 샘플링과 신경망을 활용해 확산 손실을 최소화한다.
• 손실 함수에 정규화 제약 조건을 통합하여 고유값 문제에 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 단일 최적화 목표가 고차원 PDE의 PINNs와 깊은 BSDEs의 장점을 통합할 수 있는가?
• RQ2 확산 손실이 국소적(PINN) 및 전역적(BSDE) 근사 전략 사이에서 어떻게 보간되는가?
• RQ3 보조 시간 매개변수 𝔷가 복잡한 도메인에서 수렴성과 정확성에 미치는 영향은 무엇인가?
• RQ4 확산 손실이 비선형 슈뢰딩거 방정식과 같은 비선형 고유값 문제를 효과적으로 해결할 수 있는가?
• RQ5 오차와 안정성 측면에서 확산 손실이 PINN 및 깊은 BSDE 기준선보다 어떻게 비교되는가?

주요 결과

• 확산 손실은 PINNs(𝔷 → 0)와 깊은 BSDEs(𝔷 → ∞) 사이를 성공적으로 보간하며, 고차원 PDE를 위한 통합 프레임워크를 가능하게 한다.
• d=5인 포커-플랑크 고유값 문제에서, 주 고유함수와 고유값을 낮은 L^2 오차와 거의 0에 가까운 절대 고유값 오차로 근사하였다.
• d=5인 비선형 슈뢰딩거 방정식에서, 10,000회 학습 단계 이후 상대 고유값 오차가 1% 이하로 도달하였다.
• d=10에서도 차원 증가에도 불구하고 합리적인 정확도를 유지하였으며, 고차원 문제에 대한 강건성을 보였다.
• 복잡한 경계와 고차 도함수를 포함한 도메인에서, 핵심 지표에서 PINN 및 깊은 BSDE 기준선을 모두 능가하는 성능을 보였다.
• 시간 차이 학습과의 연결 고리는 분산 감소 및 적응형 가중치 조정을 통한 알고리즘 향상 잠재력을 시사한다.