[논문 리뷰] Neural Parametric Fokker-Planck Equations

Shu Liu, Wuchen Li외 2명|arXiv (Cornell University)|2020. 02. 26.

Model Reduction and Neural Networks참고 문헌 63인용 수 8

한 줄 요약

이 논문은 신경망 기반 생성 모델(예: 노멀라이징 플로우)에 의해 유도되는 매개변수 다양체 위에서 엔트로피 분산의 $L^2$-Wasserstein 기울기 유동으로서 Fokker–Planck PDE를 재구성함으로써 신경 매개변수 Fokker–Planck 방정식을 제안한다. 이 방법은 변분 절반-암시적 시간 이산화 기반의 샘플링 기반, 증명 가능하게 수렴하는 수치적 해법을 제공하여 고차원 Fokker–Planck 방정식을 해결할 수 있으며, 기존 격자 기반 방법에 내재된 차원의 극복 문제를 해결한다.

ABSTRACT

In this paper, we develop and analyze numerical methods for high dimensional Fokker-Planck equations by leveraging generative models from deep learning. Our starting point is a formulation of the Fokker-Planck equation as a system of ordinary differential equations (ODEs) on finite-dimensional parameter space with the parameters inherited from generative models such as normalizing flows. We call such ODEs neural parametric Fokker-Planck equations. The fact that the Fokker-Planck equation can be viewed as the $L^2$-Wasserstein gradient flow of Kullback-Leibler (KL) divergence allows us to derive the ODEs as the constrained $L^2$-Wasserstein gradient flow of KL divergence on the set of probability densities generated by neural networks. For numerical computation, we design a variational semi-implicit scheme for the time discretization of the proposed ODE. Such an algorithm is sampling-based, which can readily handle the Fokker-Planck equations in higher dimensional spaces. Moreover, we also establish bounds for the asymptotic convergence analysis of the neural parametric Fokker-Planck equation as well as the error analysis for both the continuous and discrete versions. Several numerical examples are provided to illustrate the performance of the proposed algorithms and analysis.

연구 동기 및 목표

• 기존 격자 기반 방법에서 발생하는 고차원 Fokker–Planck 방정식 해법의 차원의 악몽 문제를 해결하기 위해.
• Fokker–Planck 방정식을 딥 생성 모델에 의해 유도되는 다양체 위의 매개변수화된 ODE 시스템으로 재구성하기 위해.
• 변분 절반-암시적 시간 이산화 기반의 샘플링 기반, 증명 가능하게 수렴하는 고차원 Fokker–Planck 방정식 수치적 해법을 개발하기 위해.
• 신경 매개변수 Fokker–Planck 방정식의 연속 및 이산 형태에 대해 이론적 오차 한계를 설정하기 위해.

제안 방법

• 신경망이 생성하는 확률 밀도 공간에서 엔트로피 분산의 $L^2$-Wasserstein 기울기 유동으로서 Fokker–Planck 방정식을 수식화한다.
• 신경 맵 $T_\theta$를 통해 기준 밀도 $p$를 보낸 후 유도되는 매개변수 다양체 $\Theta$를 정의하고, Wasserstein 거리에서 유도된 당김 메트릭 $G(\theta)$를 정의한다.
• 신경 매개변수 Fokker–Planck ODE를 $\dot{\theta}_t = -G(\theta_t)^{-1}\nabla_\theta H(\theta_t)$로 유도하며, 여기서 $H(\theta) = D \cdot \mathcal{D}_{\text{KL}}(T_{\theta\sharp}p \parallel \rho_*)$이다.
• 안정성과 수렴성을 보장하는 변분 절반-암시적 시간 이산화 기반의 ODE 해법을 제안한다.
• 제안된 해법에 대해 점점 수렴 및 이산 오차에 대한 이론적 한계를 설정한다.
• 최적 운반 이론과 정보 기하학을 활용하여 Fokker–Planck 역학이 매개변수 공간 기하학과 연결됨을 밝힌다.

실험 결과

연구 질문

• RQ1 격자 기반 이산화를 피하기 위해 Fokker–Planck 방정식을 신경망에 의해 유도된 다양체 위의 매개변수화된 ODE로 재구성할 수 있는가?
• RQ2 KL 분산의 $L^2$-Wasserstein 기울기 유동은 생성 모델의 유한 차원 매개변수 공간으로 어떻게 제약을 둘 수 있는가?
• RQ3 유도된 ODE 시스템의 고차원에서 안정성과 수렴성을 보장하는 시간 이산화 기법은 무엇인가?
• RQ4 신경 매개변수 Fokker–Planck 방정식의 연속 및 이산 형태에 대해 어떤 이론적 오차 한계를 설정할 수 있는가?
• RQ5 노멀라이징 플로우에 의해 유도된 매개변수 다양체의 기하학적 구조는 해의 수렴성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 신경망에 의해 유도된 매개변수 다양체 위에서 엔트로피 분산의 $L^2$-Wasserstein 기울기 유동으로서 신경 매개변수 Fokker–Planck 방정식이 유도되었으며, 이는 ODE 역학을 통한 고차원 해법을 가능하게 한다.
• 제안된 변분 절반-암시적 시간 이산화 기법은 안정성과 수렴성을 보장하며, $h \to 0^+$일 때 $|\theta_{k+1} - \theta_k| \to 0$이 되어 이산 일致성을 보장한다.
• 격자 기반 공간 이산화 없이 샘플링 기반 계산을 실현하여 $d > 3$일 때 차원의 악몽 문제를 효과적으로 해결한다.
• 이론적 분석을 통해 연속 ODE 시스템과 이산 시간 기법에 대해 점점 수렴 오차 한계를 설정하였으며, 오차는 시간 간격 $h$와 매개변수 다양체의 기하학에 의해 제어된다.
• Wasserstein 다양체 위에서 기하학적 속도는 흐름 동안 일정하며, $λ$-강하게 볼록 잠재 에너지 조건 하에서 상대 엔트로피의 두 번째 도함수는 $\frac{d^2}{dt^2}\mathcal{H}(\rho_t) \geq \lambda W_2^2(\rho_0, \rho_1)$를 만족한다.
• 수치 예제는 정확한 샘플링과 안정적인 역학을 통해 고차원 Fokker–Planck 해를 효과적으로 근사함을 보여준다.