[논문 리뷰] FiniteNet: A Fully Convolutional LSTM Network Architecture for Time-Dependent Partial Differential Equations

Ben Stevens, Tim Colonius|arXiv (Cornell University)|2020. 02. 07.

Model Reduction and Neural Networks참고 문헌 38인용 수 31

한 줄 요약

FiniteNet은 완전 합성곱 LSTM을 사용하여 유한차/유한용적 PDE 솔버를 보강하고, 선형 advection, inviscid Burgers’, 및 Kuramoto–Sivashinsky 방정식 전반에 걸쳐 오차를 2–3배 감소시킵니다.

ABSTRACT

In this work, we present a machine learning approach for reducing the error when numerically solving time-dependent partial differential equations (PDE). We use a fully convolutional LSTM network to exploit the spatiotemporal dynamics of PDEs. The neural network serves to enhance finite-difference and finite-volume methods (FDM/FVM) that are commonly used to solve PDEs, allowing us to maintain guarantees on the order of convergence of our method. We train the network on simulation data, and show that our network can reduce error by a factor of 2 to 3 compared to the baseline algorithms. We demonstrate our method on three PDEs that each feature qualitatively different dynamics. We look at the linear advection equation, which propagates its initial conditions at a constant speed, the inviscid Burgers' equation, which develops shockwaves, and the Kuramoto-Sivashinsky (KS) equation, which is chaotic.

연구 동기 및 목표

• 시간 의존 PDE 솔버에서 수치 오차를 줄이고자 동기를 부여한다.
• 공간 이산화와 시간 역학을 함께 활용하는 신경망 아키텍처를 제안한다.
• 시뮬레이션 데이터로 학습하면서 수렴 보장을 유지한다.
• 다양하게 다른 PDE들(선형 advection, Burgers’, KS)에서의 오차 감소를 입증한다.

제안 방법

• 유한차/유한용적 스텐실을 모방하여 공간 도함수를 계산하기 위한 완전 합성곱 LSTM을 채택한다.
• 각 격점에서 정보를 시간 단계 간에 전파하기 위해 LSTM을 사용한다.
• 최대 차수 이산화 계수(ĉ -> ĉ̂ + Δĉ)의 섭동을 L2 규제와 함께 학습한 후, 차수 정확성을 보장하기 위한 선형 변환을 적용한다.
• 정확한 해나 고충실도 해와 대조하여 긴 시뮬레이션 오차를 최소화하며 시간적으로 순전파를 시뮬레이션하여 엔드투엔드로 학습한다.
• 학습된 계수가 주어진 정확도 조건을 만족하도록 제약하여 수치 안정성과 수렴 보장을 보장한다(닫힌 형태의 Δĉ 계산을 통해).

실험 결과

연구 질문

• RQ1 다양한 PDE 역학에서 FiniteNet이 기저의 FDM/FVM 방법에 비해 이산화 오차를 줄일 수 있는가?
• RQ2 LSTM 기반 시간 메모리를 PDE 유도 공간 이산화와 통합하면 알려진 수렴 속도를 보존하는가?
• RQ3 불연속(충격파) 및 혼돈적 역학(KS 방정식)을 가진 문제에서 FiniteNet은 표준 솔버와 비교하여 어떠한 성능을 보이는가?

주요 결과

• FiniteNet은 세 가지 PDE에 걸쳐 기저 방법에 비해 오차를 2–3배로 감소시킨다.
• 선형 advection 및 inviscid Burgers’의 경우 FiniteNet은 불연속성을 더 선명하게 해석하며 때때로 작은 진동이 나타나지만 전반적으로 오차가 더 낮다.
• Kuramoto–Sivashinsky의 경우 FiniteNet은 혼돈 궤적의 추적을 개선하고 FDM보다 오차의 평균과 분산이 더 낮다.
• 테스트 케이스 전반에서 FiniteNet은 경험적 안정성을 보이며 전통적 방법보다 혼돈 역학에서 더 안정적인 성능을 제공한다.
• 선형 advection 작업의 하이퍼파라미터 초기화가 Burgers’ 및 KS 방정식으로 약간의 조정으로 일반화된다.