[논문 리뷰] Score-Based Physics-Informed Neural Networks for High-Dimensional Fokker-Planck Equations

Zheyuan Hu, Zhongqiang Zhang외 2명|arXiv (Cornell University)|2024. 02. 12.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

고차원 Fokker-Planck 방정식에 대한 점수 기반 해를 제시하고, Score Matching, Sliced Score Matching, 또는 Score-PINN을 통해 점수 함수(score function)를 학습한 뒤 로그 가능도 ODE를 풀어 LL과 PDF를 얻고 차원의 저주를 해결한다.

ABSTRACT

The Fokker-Planck (FP) equation is a foundational PDE in stochastic processes. However, curse of dimensionality (CoD) poses challenge when dealing with high-dimensional FP PDEs. Although Monte Carlo and vanilla Physics-Informed Neural Networks (PINNs) have shown the potential to tackle CoD, both methods exhibit numerical errors in high dimensions when dealing with the probability density function (PDF) associated with Brownian motion. The point-wise PDF values tend to decrease exponentially as dimension increases, surpassing the precision of numerical simulations and resulting in substantial errors. Moreover, due to its massive sampling, Monte Carlo fails to offer fast sampling. Modeling the logarithm likelihood (LL) via vanilla PINNs transforms the FP equation into a difficult HJB equation, whose error grows rapidly with dimension. To this end, we propose a novel approach utilizing a score-based solver to fit the score function in SDEs. The score function, defined as the gradient of the LL, plays a fundamental role in inferring LL and PDF and enables fast SDE sampling. Three fitting methods, Score Matching (SM), Sliced SM (SSM), and Score-PINN, are introduced. The proposed score-based SDE solver operates in two stages: first, employing SM, SSM, or Score-PINN to acquire the score; and second, solving the LL via an ODE using the obtained score. Comparative evaluations across these methods showcase varying trade-offs. The proposed method is evaluated across diverse SDEs, including anisotropic OU processes, geometric Brownian, and Brownian with varying eigenspace. We also test various distributions, including Gaussian, Log-normal, Laplace, and Cauchy. The numerical results demonstrate the score-based SDE solver's stability, speed, and performance across different settings, solidifying its potential as a solution to CoD for high-dimensional FP equations.

연구 동기 및 목표

• 고차원 Fokker-Planck 방정식과 Brownian 운동 맥락에서 차원의 저주를 극복해야 할 필요성을 동기화한다.
• 로그 가능도 변화도(점수)를 이용해 LL과 PDF를 추론하는 점수 기반 프레임워크를 제안한다.
• 점수 함수를 학습하기 위한 세 가지 적합 방법(Sore Matching, Sliced Score Matching, Score-PINN)을 소개한다.
• 점수 함수를 학습한 뒤 LL ODE를 풀어 LL/PDF를 얻는 이단계 솔루션 워크플로를 시연한다.

제안 방법

• 점수 함수 s_t(x) = ∇_x log p_t(x)의 역할을 모형화하고 이를 통해 LL q_t(x)를 추론하고 빠른 SDE 샘플링을 가능하게 한다.
• 점수는 Score-PINN, Score Matching, 또는 Sliced Score Matching을 사용해 각 손실(초기항 및 잔차항이 포함된 Score-PINN 손실; SM/SSM 손실)을 통해 적합한다.
• 학습된 점수를 이용해 LL ODE ∂_t q_t(x) = L[s_t](x,t)를 풀어 q_t(x)와 따라서 p_t(x)를 얻는다.
• 2단계 절차를 사용한다: 1단계는 점수를 학습하고, 2단계는 LL ODE를 푼다(또는 샘플링을 위한 결정적 ODE를 이용한 LL 샘플링).
• SM, SSM, Score-PINN을 계산 복잡도, 정확도, 적용 가능성 측면에서 비교한다.

실험 결과

연구 질문

• RQ1 고차원 FP 방정식에서 점수 함수를 효율적으로 학습해 PDF의 수치적 오버플로를 피할 수 있는가?
• RQ2 정확도, 속도, 차원 확장성 측면에서 Score Matching, Sliced Score Matching, Score-PINN 간의 트레이드오프는 무엇인가?
• RQ3 학습된 점수 함수가 PDF를 직접 모델링하지 않고도 로그 가능도 및 확률 밀도 추정의 정확성을 가능하게 할 수 있는가?
• RQ4 학습된 점수를 사용해 LL ODE를 다양한 SDE 및 분포에 대해 풀었을 때의 성능은 어떠한가?
• RQ5 점수 기반 접근이 vanilla PINN 또는 몬테카를로 방법에 비해 고차원 FP 방정식의 차원의 저주를 극복하는가?

주요 결과

• 점수 기반 SDE 해법은 다양한 실험 설정에서 안정성, 속도, 성능을 보여준다.
• SM이 가장 빠르고, 그다음이 SSM이며, Score-PINN은 더 높은 정확도를 제공하지만 계산 비용이 더 높다.
• 점수 기반 접근은 차원에 선형적으로 확장되는 강건한 결과를 제공해 고차원 FP 방정식의 차원의 저주를 해결한다.
• 점수를 학습하는 것은 직접적인 PDF 또는 LL 모델링에 따른 수치적 오버플로 문제를 피한다.
• Score-PINN은 일반적으로 SM/SSM보다 정확도가 높지만 계산 비용에 대한 트레이드오프가 있다.