[논문 리뷰] Solving Inverse Stochastic Problems from Discrete Particle Observations Using the Fokker-Planck Equation and Physics-informed Neural Networks

Xiaoli Chen, Liu Yang외 2명|arXiv (Cornell University)|2020. 08. 24.

Model Reduction and Neural Networks참고 문헌 19인용 수 11

한 줄 요약

이 논문은 희소하고 이산적인 입자 관측치에서 Fokker-Planck (FP) 방정식을 추론하고 전체 확률밀도함수 (PDF)를 재구성하는 물리 기반 신경망 (PINN) 프레임워크를 제안한다. 초기 PDF, 이송계수, 확산계수의 값이 알려져 있지 않은 경우에도 공간-시간 내에서 가능하다. 입자 데이터를 FP 방정식과 일치시키기 위해 Kullback-Leibler 산란도를 활용함으로써, 이 방법은 브라운 운동과 Lévy 노이즈에 대해 1D에서 5D까지의 차원에서 최소한의 데이터로도 Type I (초기 PDF가 알려져 있지 않은 경우) 및 Type II (이송계수와 확산계수의 값이 알려져 있지 않은 경우) 역문제를 정확하게 해결한다.

ABSTRACT

The Fokker-Planck (FP) equation governing the evolution of the probability density function (PDF) is applicable to many disciplines but it requires specification of the coefficients for each case, which can be functions of space-time and not just constants, hence requiring the development of a data-driven modeling approach. When the data available is directly on the PDF, then there exist methods for inverse problems that can be employed to infer the coefficients and thus determine the FP equation and subsequently obtain its solution. Herein, we address a more realistic scenario, where only sparse data are given on the particles' positions at a few time instants, which are not sufficient to accurately construct directly the PDF even at those times from existing methods, e.g., kernel estimation algorithms. To this end, we develop a general framework based on physics-informed neural networks (PINNs) that introduces a new loss function using the Kullback-Leibler divergence to connect the stochastic samples with the FP equation, to simultaneously learn the equation and infer the multi-dimensional PDF at all times. In particular, we consider two types of inverse problems, type I where the FP equation is known but the initial PDF is unknown, and type II in which, in addition to unknown initial PDF, the drift and diffusion terms are also unknown. In both cases, we investigate problems with either Brownian or Levy noise or a combination of both. We demonstrate the new PINN framework in detail in the one-dimensional case (1D) but we also provide results for up to 5D demonstrating that we can infer both the FP equation and} dynamics simultaneously at all times with high accuracy using only very few discrete observations of the particles.

연구 동기 및 목표

• 직접적인 PDF 측정치가 아닌, 몇 차례 시간 포인트에서만 희소하고 이산적인 입자 관측치가 제공될 때 역확률 문제를 해결하는 데 도전하는 것.
• 초기 PDF가 알려져 있지 않은 경우에도 Fokker-Planck 방정식의 계수(이송계수 및 확산계수)를 동시에 추론하고 전체 시간에 걸친 PDF의 진동을 재구성할 수 있는 데이터 기반 방법을 개발하는 것.
• 입자 수준의 관측치와 FP 방정식을 연결하기 위해 Kullback-Leibler 산란도를 통합함으로써 기존 PINN 접근법을 확장하여 소규모 데이터에서 물리 기반 학습이 가능하도록 하는 것.
• 다양한 확률적 과정, 특히 Lévy 노이즈와 비국소 동역학을 포함한 경우에도 높은 차원(최대 5D)에서의 정확성과 강인성을 입증하는 것.
• 계산 비용이 큰 수치적 통합을 피하고 물리 법칙과 관측 데이터를 원활하게 통합할 수 있는 확장 가능하고 격자 없는 프레임워크를 제공하는 것.

제안 방법

• 물리 기반 신경망(PINN)은 FP 방정식 잔차 오차와 관측된 입자 샘플 및 예측된 PDF 간의 Kullback-Leibler(KL) 산란도 손실을 포함하는 복합 손실 함수를 최소화하도록 훈련된다.
• KL 산란도 손실은 입자 위치의 경험적 분포와 예측된 PDF 간의 차이를 측정하기 위해 변분 형태로 계산되며, 샘플에서 PDF를 재구성할 필요 없이 직접 데이터를 일치시킬 수 있다.
• 자기 미분를 활용해 공간-시간 전역에서 FP 방정식을 강제함으로써 구조화된 격자가 필요 없게 되었으며, 이는 고차원 문제에 매우 중요하다.
• 이송계수와 확산계수는 다항식 또는 딥 네ural 네트워크를 사용해 매개변수화하여 복잡한 비선형 동역학을 민첩하고도 적응적으로 모델링할 수 있다.
• 비국소 동역학(Lévy 노이즈)의 경우, FP 방정식에 비국소 적분 항이 포함되며, 차원에 따라 복합 트라프레즈 법칙 또는 몬테카를로 샘플링을 통해 근사된다.
• 훈련 과정에서는 입자 데이터와 PDE 손실을 위한 잔차 점수를 미니배치로 샘플링하여, 대규모 데이터셋(예: 시간 스타트별로 100,000개의 입자)에서도 효율적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 희소하고 이산적인 입자 관측치만으로 직접적인 PDF 측정치가 없이도 PINN 프레임워크가 전체 시간에 걸친 PDF 진동을 정확히 재구성할 수 있는가?
• RQ2 몇 차례 시간 포인트에서만 입자 궤적 관측치가 제공될 때, 이송계수와 확산계수의 값을 모를 경우 이 방법이 얼마나 잘 추론할 수 있는가?
• RQ3 특히 고차원 및 비국소(Lévy) 설정에서, KL 산란도 기반 손실이 입자 데이터와 FP 방정식 간의 일치를 얼마나 잘 달성하는가?
• RQ4 최소한의 데이터로 1D에서 5D까지의 차원에서 정확도와 효율성이 어떻게 스케일링되는가?
• RQ5 이 프레임워크는 브라운 운동과 Lévy 노이즈를 포함한 복합 효과까지 모두 다룰 수 있는가, 역확률 문제에 대해 유연하게 대응할 수 있는가?

주요 결과

• 시간 포인트당 100,000개의 입자 샘플만으로도 1D 및 5D에서 전체 PDF 진동을 매우 정밀하게 재구성했으며, 희소한 관측치 조건에서도 높은 정밀도를 달성했다.
• Type I 역문제(초기 PDF가 알려져 있지 않은 경우)에서 PINN 프레임워크는 테스트 케이스에서 상대 오차가 5% 이내로 정확한 초기 조건과 이후 PDF 동역학을 성공적으로 복원했다.
• Type II 문제(이송계수 및 확산계수의 값이 알려져 있지 않은 경우)에서 프레임워크는 매개변수를 정확히 추정했으며, 2D Lévy 노이즈의 경우 이송계수는 진짜 값(예: λ₁x = 1.0)과 3% 이내의 오차로 일치(예: 추정값 1.0246)했고, 확산 매개변수 역시 오차가 5% 미만으로 복원되었다.
• 2D Lévy 노이즈의 경우 이송항을 두 개의 신경망으로 근사한 결과, 비선형 영역에서 다항식 피팅보다 더 정확한 매개변수 복원을 달성했다.
• 3D 및 4D 브라운 운동 문제에서 프레임워크는 반복 과정 동안 안정적으로 매개변수 진동이 수렴하고 모든 시간 포인트에서 PDF 재구성이 정확하게 이루어졌음을 보였다.
• KL 산란도 손실은 입자 데이터와 예측된 PDF 간의 일치를 크게 향상시켰으며, 특히 데이터가 적고 노이즈가 많은 상황에서 기존 잔차 기반 PINN 손실보다 뛰어난 성능을 보였다.