[논문 리뷰] Self-Consistency of the Fokker-Planck Equation

Zebang Shen, Zhenfu Wang외 4명|arXiv (Cornell University)|2022. 06. 02.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 Fokker-Planck 방정식(FPE)을 구동하는 속도 장을 자기일관성 원리에 기반해 학습한다. 진정한 속도 장은 FPE에서 유도된 변환의 고정점이다. 자기일관성에서의 이격도를 측정하는 새로운 잠재함수를 최소화함으로써, 생성된 밀도 궤적은 워샤르슈타인-2 의미에서 진정한 FPE 해로 수렴함을 보장하며, 신경 ODE 파arameterization을 통해 효율적인 학습이 가능하고, 비음성 및 단위 질량 보장이 보장된다.

ABSTRACT

The Fokker-Planck equation (FPE) is the partial differential equation that governs the density evolution of the Itô process and is of great importance to the literature of statistical physics and machine learning. The FPE can be regarded as a continuity equation where the change of the density is completely determined by a time varying velocity field. Importantly, this velocity field also depends on the current density function. As a result, the ground-truth velocity field can be shown to be the solution of a fixed-point equation, a property that we call self-consistency. In this paper, we exploit this concept to design a potential function of the hypothesis velocity fields, and prove that, if such a function diminishes to zero during the training procedure, the trajectory of the densities generated by the hypothesis velocity fields converges to the solution of the FPE in the Wasserstein-2 sense. The proposed potential function is amenable to neural-network based parameterization as the stochastic gradient with respect to the parameter can be efficiently computed. Once a parameterized model, such as Neural Ordinary Differential Equation is trained, we can generate the entire trajectory to the FPE.

연구 동기 및 목표

• 밀도를 직접 학습하는 대신 Fokker-Planck 방정식(FPE)의 기초 속도 장을 학습함으로써 FPE를 해결하는 데 도전하는 것.
• FPE의 자기일관성 성질에 기반한 속도 장 학습에 대한 이론적 기반을 확립하는 것.
• 가설 속도 장이 FPE의 고정점 조건을 얼마나 잘 충족하는지 측정할 수 있는 미분 가능 잠재함수를 설계하는 것.
• 이 잠재함수를 통해 속도 장을 학습할 경우, 진정한 FPE 밀도로의 워샤르슈타인-2 수렴을 보장하는 것.
• 신경 ODE를 사용한 속도 장의 파arameterization을 통해 효율적인 기울기 계산과 함께 비음성 및 단위 질량 보장을 보장하는 것.

제안 방법

• 가설 속도 장 f가 f의 푸시포워드에 의해 유도되는 속도 장을 나타내는 속도 일관성 변환 𝒜[f]를 정의한다.
• 자기일관성 잠재함수 R(f)를 시간 평균 L² 소볼레프 노름으로 정의하며, 이는 δ = f − 𝒜[f]의 이격도를 측정한다.
• R(fₙ) → 0 이면 n → ∞ 일 때, f∞에 의해 생성된 밀도 궤적이 워샤르슈타인-2 의미에서 진정한 FPE 해로 수렴함을 증명한다.
• 신경 ODE fθ를 사용해 속도 장을 파arameterization하여 연속적이고 플로우 기반의 전체 밀도 궤적 생성을 가능하게 한다.
• 첨수 감도 방법을 사용해 R(fθ)의 θ에 대한 효율적인 확률적 기울기를 유도함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 결과 밀도가 비음성이고 총합이 1이 되도록 구성에 의해 물리적 일관성을 보장하며, 이는 이전의 딥러닝 접근 방식과 다릅니다.

실험 결과

연구 질문

• RQ1 밀도를 직접 학습하는 대신 Fokker-Planck 방정식의 기초 속도 장을 학습함으로써 진정한 FPE 해를 복원할 수 있는가?
• RQ2 속도 장 학습이 진정한 FPE 해로 수렴하기 위한 이론적 조건은 무엇인가?
• RQ3 가설 속도 장의 자기일관성을 측정할 수 있는 미분 가능 잠재함수는 어떻게 구성할 수 있는가?
• RQ4 신경망 파arameterization을 사용할 경우 이 잠재함수의 기울기를 효율적으로 계산할 수 있는가?
• RQ5 이 잠재함수에 대한 학습이 결과 밀도의 비음성 및 단위 질량과 같은 기본 물리적 성질을 유지하는가?

주요 결과

• Fokker-Planck 방정식의 자기일관성은 진정한 속도 장 f*가 f* = 𝒜[f*]를 만족하는 고정점 조건으로 공식화된다.
• 자기일관성 위반 정도를 측정하는 잠재함수 R(f)는 f − 𝒜[f]의 시간 평균 소볼레프 노름으로 구성된다.
• R(fₙ) → 0 이면 n → ∞ 일 때, f∞에 의해 생성된 밀도 궤적이 워샤르슈타인-2 거리에서 진정한 FPE 해로 수렴한다.
• fθ가 신경 ODE로 파arameterization된 경우, 잠재함수 R(fθ)는 역전파에 적합하며, 확률적 최적화를 통한 효율적 학습이 가능하다.
• 푸시포워드 구성과 주기적 경계 조건 하의 질량 보존에 기반해, 결과 밀도가 비음성이고 총합이 1이 됨을 보장한다.
• 이 방법은 물리적 제약 조건을 더 잘 유지하며, 학습된 속도 장에서부터 전체 시간에 걸친 밀도 궤적을 엔드 투 엔드로 학습할 수 있다.