[논문 리뷰] A deep learning method for solving Fokker-Planck equations

Jiayu Zhai, Matthew Dobson외 1명|arXiv (Cornell University)|2020. 12. 19.

Model Reduction and Neural Networks참고 문헌 11인용 수 9

한 줄 요약

이 논문은 솔루션을 신경망으로 표현하고 Fokker-Planck 연산자를 포함하는 손실 함수를 최소화하는 방식으로 고차원 Fokker-Planck 방정식을 해결하기 위한 메시지 프리(mesh-free) 딥러닝 방법을 제안한다. 이 방법은 참조 포인트를 10²에서 10⁴개로만 사용하여 데이터 요구량을 크게 줄이며, 노이즈가 있는 몬테카를로 데이터조차도 정확한 불변 측도 근사치를 도출할 수 있어 이전에는 해결이 어려웠던 고차원 스토케스틱 시스템을 효율적으로 해결할 수 있다.

ABSTRACT

The time evolution of the probability distribution of a stochastic differential equation follows the Fokker-Planck equation, which usually has an unbounded, high-dimensional domain. Inspired by our early study in \cite{li2018data}, we propose a mesh-free Fokker-Planck solver, in which the solution to the Fokker-Planck equation is now represented by a neural network. The presence of the differential operator in the loss function improves the accuracy of the neural network representation and reduces the the demand of data in the training process. Several high dimensional numerical examples are demonstrated.

연구 동기 및 목표

• 기하학적 메시지의 필요 없이 고차원 비유계 영역에서 기존의 PDE 해법기가 차원의 고통(curse of dimensionality)으로 인해 실패하는 Fokker-Planck 방정식을 위한 메시지 프리, 데이터 기반 수치 해법기를 개발하는 것.
• 고품질의 대규모 시뮬레이션 데이터셋에 대한 의존도를 줄이기 위해 Fokker-Planck 미분 연산자를 손실 함수에 통합함으로써 노이즈가 있거나 희박한 데이터에 대한 강건성을 향상시키는 것.
• 기존의 데이터 기반 해법기를 개선하기 위해 제약 최적화를 비제약 신경망 형식으로 대체함으로써 고차원에서의 확장 가능한 학습을 가능하게 하는 것.
• 6차원 난류 모델을 포함한 도전적인 고차원 시스템에서 방법을 검증하여, 극히 적은 참조 데이터로도 고차원 스토케스틱 시스템의 불변 확률 측도를 정확하게 근사하는 것.

제안 방법

• 고차원 상태 공간에서 직접 확률 밀도 함수를 매개변수화하는 방식으로 정적 Fokker-Planck 방정식의 해를 딥 신경망으로 표현한다.
• 손실 함수에 참조 몬테카를로 샘플의 데이터 적합성과 Fokker-Planck 연산자를 강제하는 물리 기반 항을 포함한 비제약 최적화 문제를 설정한다.
• 일반화 성능 향상과 노이즈 또는 희박한 훈련 데이터에 대한 민감도 감소를 위해 Fokker-Planck 미분 연산자를 손실 함수에 통합한다.
• 몬테카를로 시뮬레이션 또는 조건부 가우시안 샘플러에서 추출한 참조 포인트를 사용하여 도메인 전역에서 복합 손실을 최소화하는 방식으로 신경망을 훈련시킨다.
• 직접 몬테카를로보다 더 효율적으로 참조 확률 밀도를 생성하기 위해 수정된 조건부 가우시안 샘플러를 사용한다. 특히 고차원에서 유리하다.
• 학습된 네트워크를 활용해 도메인 내 임의의 점에서 불변 확률 밀도를 예측함으로써 재시뮬레이션 없이도 빠른 평가가 가능하다.

실험 결과

연구 질문

• RQ1 물리 기반 신경망 손실 함수는 고차원 Fokker-Planck 방정식을 해결하기 위한 데이터 요구량을 줄일 수 있는가?
• RQ2 손실 함수에 Fokker-Planck 연산자를 통합할 경우, 노이즈가 있거나 희박한 몬테카를로 데이터에 대한 강건성은 어떻게 영향을 받는가?
• RQ3 메시지 프리, 비제약 신경망 형식은 고차원 환경에서 기존의 격자 기반 데이터 기반 해법기보다 우수한 성능을 보일 수 있는가?
• RQ4 참조 포인트가 10²에서 10⁴개로 매우 적은 경우, 신경망이 고차원 스토케스틱 시스템의 불변 측도를 얼마나 정확하게 근사할 수 있는가?
• RQ5 고차원 시스템에서 정확도와 계산 비용 측면에서 신경망 해법기의 성능은 직접 몬테카를로 시뮬레이션과 어떻게 비교되는가?

주요 결과

• 6차원 난류 모델과 같은 고차원 시스템에서 불변 확률 밀도 함수를 정확하게 근사할 수 있었으며, 참조 포인트를 20,000개만 사용하였다.
• 신경망 해법은 참조 데이터의 공간적으로 비상관된 노이즈에 대해 강력한 내성성을 보이며, 몬테카를로 시뮬레이션이 노이즈가 많거나 해상도가 낮은 경우에도 정확도를 유지한다.
• 6차원 시스템의 경우 훈련 시간이 1시간 이내로, 고차원성에도 불구하고 계산 효율성이 뛰어나다.
• 조건부 가우시안 샘플러는 직접 몬테카를로 대비 시뮬레이션 시간을 100배 감소시켜 데이터 생성 효율성을 크게 향상시켰다.
• 중앙 2차원 슬라이스에서 직접 몬테카를로 결과와 조건부 가우시안 샘플러 출력 모두와 근접한 근사치를 보이며, 다양한 참조 데이터 소스에서의 해법 타당성을 확인하였다.
• 손실 함수에 Fokker-Planck 연산자를 통합함으로써 데이터 요구량이 감소하고 수렴성이 향상되어 극히 적은 참조 데이터로도 효과적인 학습이 가능해졌다.