[논문 리뷰] Local Randomized Neural Networks with Discontinuous Galerkin Methods for Partial Differential Equations

Jingbo Sun, Suchuan Dong외 1명|arXiv (Cornell University)|2022. 06. 11.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 부분 미분 방정식(PDE)를 해결하기 위해 국소 무작위화 신경망(LRNN)과 비연속 갈레르킨(DG) 방법을 결합한 방법을 제안한다. 하위영역에서 최소제곱 학습을 사용하고 DG를 통해 경계에서의 약한 연속성을 확보한다. 동일한 자유도 조건에서 유한요소법(FEM)과 표준 DG 방법보다 더 높은 정확도를 달성하며, 타원형(Poisson) 및 방정형(열) 방정식 모두에서 뛰어난 효율성과 수렴성을 보여준다.

ABSTRACT

Randomized neural networks (RNN) are a variation of neural networks in which the hidden-layer parameters are fixed to randomly assigned values and the output-layer parameters are obtained by solving a linear system by least squares. This improves the efficiency without degrading the accuracy of the neural network. In this paper, we combine the idea of the local RNN (LRNN) and the discontinuous Galerkin (DG) approach for solving partial differential equations. RNNs are used to approximate the solution on the subdomains, and the DG formulation is used to glue them together. Taking the Poisson problem as a model, we propose three numerical schemes and provide the convergence analyses. Then we extend the ideas to time-dependent problems. Taking the heat equation as a model, three space-time LRNN with DG formulations are proposed. Finally, we present numerical tests to demonstrate the performance of the methods developed herein. We compare the proposed methods with the finite element method and the usual DG method. The LRNN-DG methods can achieve better accuracy under the same degrees of freedom, signifying that this new approach has a great potential for solving partial differential equations.

연구 동기 및 목표

• PDE를 해결하기 위한 완전 학습된 신경망의 높은 계산 비용과 제한된 정확도 문제를 해결하기 위해.
• 은닉층에서 무작위 가중치를 활용하여 전통적 신경망 해법의 비효율성과 열악한 수렴성을 극복하기 위해.
• 국소 신경망 근사와 DG를 결합한 도메인 분할 프레임워크를 개발하여 약한 연속성 강제를 수행하기 위해.
• 시간에 따라 변화하는 문제에 대해 공간-시간 공식을 사용하여 안정성과 정확도를 향상시키기 위해.
• 제안된 LRNN-DG 접근법이 자유도 당 정확도 측면에서 기존의 유한요소법과 DG 방법보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• 은닉층 가중치가 무작위로 고정되고 출력층 가중치는 최소제곱 회귀를 통해 해결되는 국소 무작위화 신경망(LRNN)을 사용한다.
• 계산 영역을 하위영역으로 분할하고 각 요소에서 LRNN을 사용하여 국소 PDE 해를 구한다.
• 내부 페널티 비연속 갈레르킨(IPDG) 공식을 사용하여 수치적 플럭스를 통해 하위영역 경계에서 국소 LRNN 해를 결합한다.
• C^0 및 C^1 DG 공식을 사용하여 해와 그 도함수의 약한 연속성을 강제함으로써 페널티 매개변수의 필요성을 제거한다.
• 시간과 공간을 하나의 영역으로 간주하여 공간-시간 LRNN-DG 스킴을 공식화함으로써 시간에 따라 변화하는 PDE를 자연스럽게 다룰 수 있도록 한다.
• 전체 시스템에 대해 최소제곱 방법을 사용하여 시스템을 해결함으로써 안정성과 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 국소 무작위화 신경망과 DG 결합이 타원형 PDE에 대해 표준 유한요소법과 DG 방법보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 자유도를 동일하게 유지할 경우 LRNN-DG 방법은 FEM과 고전적 DG 방법에 비해 어떻게 성능을 발휘하는가?
• RQ3 공간-시간 LRNN-DG 공식은 오차 누적을 줄이며 열 방정식과 같은 시간에 따라 변화하는 PDE를 효과적으로 해결할 수 있는가?
• RQ4 DG 프레임워크에서 C^0 및 C^1 연속성 조건을 강제할 경우 해의 정확도와 안정성에 어떤 영향을 미치는가?
• RQ5 LRNN-DG 방법에서 수치 오차가 자유도의 특정 임계값에 도달하면 정체되는 이유는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 열 방정식에 대해 h = 2^{-9} 및 Δt = 2^{-18} 조건에서 t=1 시점에서 LRNN-DG는 L^2 오차 1.49 × 10^{-5}와 H^1 오차 1.51 × 10^{-4}를 기록하였으며, 동일한 메esh 해상도에서 후진 오일러를 사용한 P_2 FEM보다 뛰어난 성능을 보였다.
• 공간-시간 LRNN-DG 방법은 시간에 따라 오차 누적이 거의 없이 안정적으로 유지되며, 반면 FEM은 시간 적분에 의해 심한 오차 누적이 발생함을 보였다.
• LRNN-C^0 DG 및 LRNN-C^1 DG 방법은 LRNN-DG 및 FEM보다 더 낮은 절대 오차를 기록하였지만, 더 높은 진폭의 진동을 보이며 국소 정확도 향상을 시사하였다.
• 제안된 방법은 C^0 및 C^1 DG 공식에서 페널티 매개변수를 필요로 하지 않아 구현을 단순화하고 안정성을 향상시켰다.
• LRNN-DG 방법은 부드러운 오차 분포를 유지하는 반면, FEM은 강한 오차 누적 현상을 보이며 공간-시간 접근법의 강건성을 입증하였다.
• 수치 결과는 자유도 수가 동일한 조건에서 LRNN-DG 방법이 FEM 및 표준 DG 방법보다 더 높은 정확도를 달성함을 확인하였으며, 이는 뛰어난 효율성과 근사 능력을 시사한다.