[논문 리뷰] Neural Galerkin Schemes with Active Learning for High-Dimensional Evolution Equations

Joan Bruna, Benjamin Peherstorfer외 1명|arXiv (Cornell University)|2022. 03. 02.

Model Reduction and Neural Networks참고 문헌 48인용 수 6

한 줄 요약

이 논문은 고차원 진화 방정식, 예를 들어 Fokker-Planck 방정식과 운동 방정식을 해결하기 위해 딥 러닝과 활성 학습을 융합한 신경 가질레르 방법을 제안한다. 시간에 따라 잔차를 순차적으로 최소화하고 해의 동역학에 기반해 데이터를 적응적으로 샘플링함으로써, 기존의 방법들과 표준 딥 러닝 솔버가 실패하는 고차원에서 정확하고 장시간의 시뮬레이션을 달성한다.

ABSTRACT

Deep neural networks have been shown to provide accurate function approximations in high dimensions. However, fitting network parameters requires informative training data that are often challenging to collect in science and engineering applications. This work proposes Neural Galerkin schemes based on deep learning that generate training data with active learning for numerically solving high-dimensional partial differential equations. Neural Galerkin schemes build on the Dirac-Frenkel variational principle to train networks by minimizing the residual sequentially over time, which enables adaptively collecting new training data in a self-informed manner that is guided by the dynamics described by the partial differential equations. This is in contrast to other machine learning methods that aim to fit network parameters globally in time without taking into account training data acquisition. Our finding is that the active form of gathering training data of the proposed Neural Galerkin schemes is key for numerically realizing the expressive power of networks in high dimensions. Numerical experiments demonstrate that Neural Galerkin schemes have the potential to enable simulating phenomena and processes with many variables for which traditional and other deep-learning-based solvers fail, especially when features of the solutions evolve locally such as in high-dimensional wave propagation problems and interacting particle systems described by Fokker-Planck and kinetic equations.

연구 동기 및 목표

• 딥 뉴럴 네트워크를 사용하여 고차원 편미분방정식(PDE)을 풀 때 발생하는 차원의 극복 문제를 해결하기 위해.
• 물리 기반 신경망과 콜로케이션 방법에서 발생하는 정적이고 비적응형 데이터 수집의 한계를 극복하기 위해.
• 신경망 파rameter를 순차적으로 업데이트하는 시간 통합 기법을 개발하여, 적응형 데이터 수집과 함께 장시간 시뮬레이션을 가능하게 하기 위해.
• 잔차 오차의 적응형 샘플링이 고차원 해의 국소적이고 변화하는 특징을 포착하는 데 필수적임을 입증하기 위해.
• 몬테카를로 방법이 적용되지 않는 복잡한 시스템, 예를 들어 상호작용 입자 시스템과 운동 방정식의 수치 시뮬레이션을 가능하게 하기 위해.

제안 방법

• 방정식의 해를 시간에 따라 변화하는 파rameter를 가진 딥 뉴럴 네트워크(DNN)로 표현하며, 전역 최적화가 아닌 순차적 시간 통합을 통해 이를 업데이트한다.
• PDE 잔차를 기반으로 DNN 파rameter의 비선형 진동 방정식을 유도함으로써, 해의 매끄러움에 따라 조정되는 적응형 시간 단계를 가능하게 한다.
• 잔차는 샘플링을 통해 추정되며, 오차가 높은 영역에 집중하기 위해 해와 함께 진화하는 적응형 중요도 샘플링을 사용한다.
• 비정적이고 간헐적인 잔차 오차의 특성에 대응하기 위해 동적 샘플링 전략을 사용함으로써 정적 샘플링 대비 정확도를 향상시킨다.
• 암시적 시간 통합(예: 암시적 오일러)과 확률적 경사 하강법(SGD)을 사용하여 각 시간 단계에서 샘플된 데이터를 바탕으로 네트워크 파arameter를 업데이트한다.
• 적응형 함수 근사와 적응형 데이터 수집을 동시에 통합하며, PDE의 구조를 활용해 훈련 데이터 수집을 안내한다.

실험 결과

연구 질문

• RQ1 PDE 기반 신경망 시간 통합기법이 파arameter와 훈련 데이터를 모두 적응적으로 조정함으로써 고차원에서 정확한 장시간 시뮬레이션을 달성할 수 있는가?
• RQ2 고차원 PDE에서 국소적 해 특징을 포착할 때, 잔차 오차의 적응형 샘플링이 정적 또는 랜덤 샘플링보다 얼마나 우월한가?
• RQ3 어떤 상황에서 훈련 데이터의 활성 학습이 전역 콜로케이션 방법에 비해 딥 러닝 기반 PDE 솔버의 정확도를 크게 향상시키는가?
• RQ4 신경망의 어떤 구조적 특성이 PDE 해에서 장시간 간격 동안 안정적이고 정확한 파arameter 진동을 보장하는가?
• RQ5 신경 가질레르 방법이 파르티클 시스템과 운동 방정식과 같은 시스템을 효과적으로 시뮬레이션할 수 있는가? 이는 페인만-카프 표현이 존재하지 않는 경우에도 가능하다.

주요 결과

• 적응형 샘플링을 통한 신경 가질레르 방법은 고차원의 조화 터널 내 입자 위치의 평균과 분산에 대해 상대 오차 10⁻³에서 10⁻² 수준을 달성하는 반면, 정적 샘플링은 수렴하지 못한다.
• 이 방법은 입자 시스템의 엔트로피 진동을 정확히 포착하며, 100,000개의 샘플을 사용한 벤치마크 몬테카를로 시뮬레이션 결과와 일치한다.
• 적응형 샘플링은 필수적이다: 정적 샘플링은 특히 고차원에서 변화하는 해의 특징을 포착하지 못해 큰 상대 오차를 유발한다.
• 이 방법은 기존의 솔버와 표준 딥 러닝 방법이 실패하는 Fokker-Planck 및 운동 방정식과 같은 고차원 PDE의 안정적이고 정확한 장시간 통합을 가능하게 한다.
• 순차적 파arameter 업데이트와 적응형 데이터 수집은 시간적 매끄러움을 활용하고 전역 콜로케이션 대비 샘플링 비효율성을 줄여준다.
• 파동 전파 및 상호작용 입자 시스템과 같이 해의 특징이 국소적으로 변화하는 경우에도, 동적으로 관련 영역에 샘플링을 집중함으로써 정확도를 유지한다.