[논문 리뷰] Deep neural network for solving differential equations motivated by Legendre-Galerkin approximation

Bryce Chudomelka, Youngjoon Hong외 2명|arXiv (Cornell University)|2020. 10. 24.

Model Reduction and Neural Networks참고 문헌 35인용 수 5

한 줄 요약

이 논문은 선형 및 비선형 PDE를 고정밀도로 해결하기 위해 레지온드 다항식 기저 함수의 계수를 예측하는 새로운 DNN 아키텍처인 레지온드-갈레르킨 딥 뉴럴 네트워크(LGNet)를 제안한다. 고해상도 스펙트럴 엘리먼트 방법 해를 기반으로 훈련하고 약한 형태 잔차 손실을 사용함으로써, LGNet은 대류-확산, 헬름홀츠, 버거스 방정식에서 평균 상대 ℓ²-노름 오차 𝒪(10⁻⁵)를 달성하여 비선형 케이스의 데이터 증강을 적용한 경우에도 강건한 성능을 보여준다.

ABSTRACT

Nonlinear differential equations are challenging to solve numerically and are important to understanding the dynamics of many physical systems. Deep neural networks have been applied to help alleviate the computational cost that is associated with solving these systems. We explore the performance and accuracy of various neural architectures on both linear and nonlinear differential equations by creating accurate training sets with the spectral element method. Next, we implement a novel Legendre-Galerkin Deep Neural Network (LGNet) algorithm to predict solutions to differential equations. By constructing a set of a linear combination of the Legendre basis, we predict the corresponding coefficients, $α_i$ which successfully approximate the solution as a sum of smooth basis functions $u \simeq \sum_{i=0}^{N} α_i φ_i$. As a computational example, linear and nonlinear models with Dirichlet or Neumann boundary conditions are considered.

연구 동기 및 목표

• 레지온드 다항식을 사용한 스펙트럴 근사를 통해 정확한 미분 방정식 해를 구하는 딥 뉴럴 네트워크를 개발한다.
• 스펙트럴 엘리먼트 방법(SEM)을 통해 생성된 고정밀도 훈련 데이터를 활용하여 일반화 능력을 향상시키고 수치 오차를 감소시킨다.
• 약한 형태의 PDE에 기반한 손실 함수를 설계하여 해의 정확성과 안정성을 향상시킨다.
• 기저 함수의 확장과 시간 이산화를 통해 시간에 의존하는 및 특이하게 섭동된 PDE에까지 방법을 확장한다.
• 데이터 증강을 통해 비선형 방정식에서도 선형 케이스와 유사한 성능을 달성할 수 있음을 입증한다.

제안 방법

• LGNet 아키텍처는 해를 u ≈ Σαᵢφᵢ로 표현하는 레지온드 다항식 전개의 계수 αᵢ를 예측하여 부드러운 스펙트럴 근사를 재구성한다.
• 고정밀도 훈련 데이터는 레지온드-갈레르킨 스펙트럴 엘리먼트 방법(LGSEM)을 사용하여 생성되어 해의 정확도를 극대화한다.
• PDE의 약한 형태에서 유도된 잔차 손실 함수를 사용하여 훈련 중 물리적 일致성을 강제한다.
• 강력한 컨볼루션 신경망(CNN)을 활용하여 외부 힘 함수 f와 경계 조건을 스펙트럴 계수 αᵢ로 매핑한다.
• 비선형 외부 힘 함수에 대해 데이터 증강을 적용하여 일반화 능력을 향상시키고 선형 케이스와 유사한 성능을 달성한다.
• 시간 이산화된 시스템을 정적 문제로 재구성함으로써 시간에 의존하는 PDE에까지 프레임워크를 확장할 수 있다.

실험 결과

연구 질문

• RQ1 고해상도 스펙트럴 엘리먼트 해를 기반으로 훈련된 딥 뉴럴 네트워크가 선형 및 비선형 PDE의 해를 정확하게 예측할 수 있는가?
• RQ2 약한 형태 잔차 손실 함수를 사용할 경우 표준 손실 함수 대비 해의 정확성이 어떻게 향상되는가?
• RQ3 데이터 증강을 통해 딥 뉴럴 네트워크가 비선형 PDE에서 선형 케이스와 유사한 정확도를 달성할 수 있는가?
• RQ4 LGNet 아키텍처가 시간에 의존하는 및 특이하게 섭동된 PDE에 얼마나 일반화될 수 있는가?
• RQ5 스티프하거나 경계층이 지배적인 문제에 대해 강화된 기저 함수를 포함할 수 있도록 네트워크 아키텍처를 확장할 수 있는가?

주요 결과

• L-BFGS 최적화기를 사용하여 LGNet은 대류-확산, 헬름홀츠, 버거스 방정식에서 평균 상대 ℓ²-노름 오차 𝒪(10⁻⁵)를 달성한다.
• 데이터 증강을 통해 비선형 방정식에서도 선형 방정식과 유사한 성능을 달성하여 별도의 아키텍처 설계가 필요 없어진다.
• 약한 형태 잔차 손실 함수의 사용은 변분적 관점에서 PDE를 강제함으로써 해의 정확성을 크게 향상시킨다.
• 레지온드 기저의 전역적 성질 덕분에 다양한 경계 조건과 외부 힘 함수에 대해 잘 일반화된다.
• 각 시간 단계를 정적 문제로 재구성함으로써 시간에 의존하는 PDE에 대한 확장이 가능하다.
• 특이하게 섭동된 문제에 대해 보정 함수를 추가하는 등의 기저 함수 확장을 지원함으로써 유연성과 확장성의 잠재력을 입증한다.