[논문 리뷰] Numerical Solution and Bifurcation Analysis of Nonlinear Partial Differential Equations with Extreme Learning Machines

Gianluca Fabiani, Francesco Calabrò외 2명|arXiv (Cornell University)|2021. 04. 13.

Model Reduction and Neural Networks참고 문헌 69인용 수 79

한 줄 요약

이 논문은 비선형 PDE의 정 steady-state 해와 분기 다이어그램을 계산하기 위해 시그모이드 및 라디얼 기저 함수를 사용하는 극단적 학습 기반 기계(ELM)를 활용하는 새로운 수치적 스킴을 제안한다. 콜로케이션과 출력 가중치에 대한 단일 단계 최소 제곱 해법을 활용함으로써 반복적 학습을 피할 수 있으며, 특히 버거스 및 브라투–겔판드 방정식에서 급격한 기울기와 전환점 근처에서 유한 차분법(FD)과 유한 요소법(FEM)보다 높은 정확도를 달성한다.

ABSTRACT

We address a new numerical scheme based on a class of machine learning methods, the so-called Extreme Learning Machines with both sigmoidal and radial-basis functions, for the computation of steady-state solutions and the construction of (one dimensional) bifurcation diagrams of nonlinear partial differential equations (PDEs). For our illustrations, we considered two benchmark problems, namely (a) the one-dimensional viscous Burgers with both homogeneous (Dirichlet) and non-homogeneous mixed boundary conditions, and, (b) the one and two-dimensional Liouville-Bratu-Gelfand PDEs with homogeneous Dirichlet boundary conditions. For the one-dimensional Burgers and Bratu PDEs, exact analytical solutions are available and used for comparison purposes against the numerical derived solutions. Furthermore, the numerical efficiency (in terms of accuracy and size of the grid) of the proposed numerical machine learning scheme is compared against central finite differences (FD) and Galerkin weighted-residuals finite-element methods (FEM). We show that the proposed ELM numerical method outperforms both FD and FEM methods for medium to large sized grids, while provides equivalent results with the FEM for low to medium sized grids.

연구 동기 및 목표

• 급격한 기울기를 가지는 비선형 PDE를 해결하기 위한 문제 독립적 수치 스킴을 개발하기 위해 극단적 학습 기반 기계(ELM)를 기반으로 한다.
• 분류를 넘어서 수치 해석, 특히 PDE의 정상 상태 해에 대한 ELM의 적용을 확장한다.
• 일차원 분기 다이어그램을 의사-호소 길이 연속 기법을 통해 ELM이 구축할 수 있음을 보여준다.
• 중앙 유한 차분법(FD)과 갈레르킨 유한 요소법(FEM)과의 정확도 및 효율성 측면에서 ELM 접근법을 비교한다.
• 기본 문제인 일차원 점성 버거스 및 리우빌–브라투–겔판드 PDE를 대상으로 방법을 검증한다. 이들 문제들은 정확한 해와 전환점이 알려져 있다.

제안 방법

• 비선형 PDE의 해를 근사하기 위해 단일 은닉층을 갖는 ELM을 사용하며, 시그모이드(SF) 및 라디얼 기저 함수(RBF) 활성화 함수를 적용한다.
• 도메인 전역의 학습 점에서 콜로케이션을 적용하여 강한 형태로 PDE 및 경계 조건을 강제한다.
• 출력 가중치는 단일 최소 제곱 해법을 통해 계산되어 반복 최적화를 피하고 빠른 계산을 가능하게 한다.
• 뉴턴-라프슨 반복과 결합된 의사-호소 길이 연속 기법을 통해 전환점 이후의 해 분기를 추적하고 분기 다이어그램을 구성한다.
• 디리클레 경계 조건을 갖는 일차원 점성 버거스 및 리우빌–브라투–겔판드 PDE에 대해 방법을 적용한다.
• 다양한 격자 크기에서 ELM 결과를 정확한 해, FD 및 FEM과 비교하여 수치 성능을 평가한다.

실험 결과

연구 질문

• RQ1 ELM는 점성 버거스 및 브라투–겔판드 방정식에서처럼 급격한 기울기를 가지는 비선형 PDE의 정상 상태 해를 효과적으로 근사할 수 있는가?
• RQ2 중간에서 대규모 격자 크기에 대해 ELM 기반 콜로케이션 방법이 중앙 유한 차분법(FD)과 갈레르킨 유한 요소법(FEM)보다 정확도 및 효율성 측면에서 어떻게 비교되는가?
• RQ3 ELM는 수치 연속 기법과 성공적으로 통합되어 전환점 이후의 분기 다이어그램을 추적할 수 있는가?
• RQ4 활성화 함수 유형(Sigmoidal 대비 RBF)이 비선형 PDE의 ELM 해의 수렴성 및 정확도에 어떤 영향을 미치는가?
• RQ5 매개변수 의존성 PDE의 임계점, 예를 들어 한계점 근처에서 ELM 접근법은 높은 정확도를 유지하는가?

주요 결과

• 이중 차원 브라투 문제에서 ELM 방법은 문헌 값 6.808124와 비교해 약 0.01%의 상대 오차로 전환점 λ ≈ 6.8069를 추정하였다.
• 라디얼 겔판드-브라투 문제에서 λ=1일 때, RBF 활성화 함수를 사용한 ELM은 N=1600 뉴런에서 L2 오차 1.2×10−10을 기록하여 FD 및 FEM을 모두 능가하였다.
• 일차원 버거스 방정식의 경우, ELM은 40×40 격자에서 정확한 해와 L2 오차 10−10 이하로 일치하였고, FD 및 FEM은 더 높은 오차를 보였다.
• 중간에서 대규모 격자 크기(N≥196)에서 ELM 방법은 전환점 위치 근사에서 FD 및 FEM을 능가하는 뛰어난 정확도를 보였다.
• ELM 방법은 경계 근처의 급격한 기울기를 효과적으로 포착하는 데에 뛰어났으며, 이는 FD 방법이 해상도가 열악하여 실패한 영역이었다.
• FEM에 비해 ELM의 구현이 훨씬 단순했고, 특히 고해상도 영역에서 유사하거나 더 뛰어난 정확도를 달성하였다.