[논문 리뷰] Data-driven discretization: machine learning for coarse graining of partial differential equations

Yohai Bar‐Sinai, Stephan Hoyer외 2명|arXiv (Cornell University)|2018. 08. 15.

Model Reduction and Neural Networks인용 수 3

한 줄 요약

이 논문은 편미분방정식(PDE)의 군집화된 수치적 해를 위한 공간 도함수를 학습하는 데 신경망을 사용하는 데이터 기반 이산화 기법을 소개한다. 알려진 PDE의 해에 대해 네트워크를 종단 간(end-to-end)으로 훈련시킴으로써, 기존의 유한차분 기법보다 4–8배 더 군집화된 해상도에서 높은 정확도를 달성하며, 비선형 PDE의 장시간에 걸친 안정적이고 정밀한 통합을 가능하게 한다.

ABSTRACT

The numerical solution of partial differential equations (PDEs) is challenging because of the need to resolve spatiotemporal features over wide length and timescales. Often, it is computationally intractable to resolve the finest features in the solution. The only recourse is to use approximate coarse-grained representations, which aim to accurately represent long-wavelength dynamics while properly accounting for unresolved small scale physics. Deriving such coarse grained equations is notoriously difficult, and often \emph{ad hoc}. Here we introduce \emph{data driven discretization}, a method for learning optimized approximations to PDEs based on actual solutions to the known underlying equations. Our approach uses neural networks to estimate spatial derivatives, which are optimized end-to-end to best satisfy the equations on a low resolution grid. The resulting numerical methods are remarkably accurate, allowing us to integrate in time a collection of nonlinear equations in one spatial dimension at resolutions 4-8x coarser than is possible with standard finite difference methods.

연구 동기 및 목표

• 넓은 시공간 스케일에서 미세 구조적 특징을 해석하는 데 있어 부분 미분방정식(PDE)의 계산 비가용성 문제를 해결하기 위해.
• 체계적인 유도 없이 수작업으로 설계된 군집화 모델링 접근법의 한계를 극복하기 위해.
• 기존 알려진 PDE의 해에서 직접 학습하여 최적화된 수치 이산화를 학습하는 데이터 기반 방법을 개발하기 위해.
• 학습된 도함수 근사치를 사용하여 저해상도 격자에서 비선형 PDE의 안정적이고 정확한 시간 통합을 가능하게 하기 위해.
• 학습된 이산화 방법이 표준 유한차분 기법보다 정확도와 해상도 효율성 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 이 방법은 전통적인 유한차분 스텐실 대신, 군집화된 격자에서 공간 도함수를 추정하기 위해 신경망을 사용한다.
• 네트워크 파라미터는 다수의 해 스냅샷에 걸쳐 기초가 되는 PDE의 잔여 오차를 최소화하도록 종단 간으로 훈련된다.
• 훈련 데이터는 기초 PDE의 고해상도 해로 구성되며, 이는 감독을 위한 정확한 도함수 정보를 제공한다.
• 손실 함수는 예측된 도함수가 군집화된 격자에서 가능한 한 PDE를 충족하도록 강제한다.
• 결과적으로 유도된 수치적 방법은 시간 통합에 적용되며, 학습된 도함수 근사치를 사용해 해를 시간에 따라 앞으로 진행시킨다.
• 이 접근법은 일차원에서의 다양한 비선형 PDE에 대해 일반적으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 신경망은 군집화된 격자에서 안정적이고 정확한 PDE 수치적 해를 도출할 수 있는 공간 도함수 근사치를 학습할 수 있는가?
• RQ2 유사한 해상도에서 데이터 기반 이산화의 정확도는 표준 유한차분 기법보다 어떻게 비교되는가?
• RQ3 학습된 이산화 방법은 미해결된 미세 구조 물리를 고려하면서도 장파장 역학을 얼마나 잘 포착할 수 있는가?
• RQ4 이 방법은 분석적 구조에 대한 사전 지식 없이도 비선형 PDE에 효과적으로 적용될 수 있는가?
• RQ5 이 데이터 기반 접근법을 사용할 때, 수용 가능한 정확도를 유지하면서 도달할 수 있는 최대 해상도 군집화 비율은 얼마인가?

주요 결과

• 데이터 기반 이산화 기법은 표준 유한차분 기법이 가능한 해상도보다 4–8배 더 군집화된 해상도에서 비선형 PDE의 정확한 시간 통합을 달성한다.
• 학습된 수치적 방법은 복잡한 비선형 시스템에서도 장시간에 걸쳐 안정성과 정확도를 유지한다.
• 이 방법은 저해상도 격자에서 해상도 효율성과 해의 정밀도 측면에서 기존의 유한차분 기법보다 뚜렷이 뛰어나다.
• PDE 해에 대한 종단 간 신경망 훈련은 기초 물리 법칙을 존중하는 최적화된 도함수 근사치를 발견하는 데 기여한다.
• 이 방법은 다양한 유형의 PDE에 대해 일반화되며, 다양한 비선형성과 역학에 대해 강건함을 보였다.
• 결과적으로 유도된 군집화된 해법은 미세 구조적 특징이 해소된 상태에서도 장파장 역학을 높은 정밀도로 포착할 수 있다.