[논문 리뷰] Extreme learning machine collocation for the numerical solution of elliptic PDEs with sharp gradients

Francesco Calabrò, Gianluca Fabiani외 1명|arXiv (Cornell University)|2020. 12. 10.

Model Reduction and Neural Networks참고 문헌 61인용 수 79

한 줄 요약

이 논문은 시그모이드 활성화 함수를 갖는 단일 은닉층 피드포워드 신경망의 내부 가중치와 편향을 고정하여, 경계층과 같은 급격한 기울기를 갖는 1D 타원형 PDE를 해결하기 위한 극단적 학습 기반(ELM) 보간법을 제안한다. 이 방법은 네트워크 학습을 피하기 위해 선형 최소제곱 문제를 풀며, 오차와 비용 측면에서 유한 차분법보다 뛰어난 정확도와 계산 효율성을 달성한다. 특히 급격한 기울기를 갖는 문제에서 뛰어난 성능을 보인다.

ABSTRACT

We introduce a new numerical method based on machine learning to approximate the solution of elliptic partial differential equations with collocation using a set of sigmoidal functions. We show that a feedforward neural network with a single hidden layer with sigmoidal functions and fixed, random, internal weights and biases can be used to compute accurately a collocation solution. The choice to fix internal weights and bias leads to the so-called Extreme Learning Machine network. We discuss how to determine the range for both internal weights and biases in order to obtain a good underlining approximating space, and we explore the required number of collocation points. We demonstrate the efficiency of the proposed method with several one-dimensional diffusion-advection-reaction problems that exhibit steep behaviors, such as boundary layers. The boundary conditions are imposed directly as collocation equations. We point out that there is no need of training the network, as the proposed numerical approach results to a linear problem that can be easily solved using least-squares. Numerical results show that the proposed method achieves a good accuracy. Finally, we compare the proposed method with finite differences and point out the significant improvements in terms of computational cost, thus avoiding the time-consuming training phase.

연구 동기 및 목표

• 유한 차분법과 같은 전통적 방법이 불안정성과 진동 현상으로 인해 어려움을 겪는 경계층과 같은 급격한 기울기를 갖는 타원형 PDE를 수치적으로 해결하는 데 도전하는 것.
• 기존 ELM 접근법이 급격한 기울기를 잘 근사하지 못해 실패한 경우에 특히 적합한 극단적 학습 기반(ELM) 방법의 적용 가능성을 탐색하는 것.
• 내부 가중치와 편향을 사전에 고정한 보간 기반 ELM 프레임워크를 개발하여 네트워크 학습이 필요 없도록 하면서도 높은 정확도를 유지하는 것.
• 해석적 해가 알려진 기준 문제들, 특히 콤 모양의 프로파일과 높은 페클레 수를 갖는 문제들에 대해 본 방법의 강건성과 효율성을 시험하는 것.
• 고차 유한 차분법(FDM)과의 비교를 통해 본 ELM 보간법이 정확도와 계산 비용 측면에서 얼마나 향상되었는지 정량화하는 것.

제안 방법

• 시그모이드 활성화 함수 σ(x) = 1 / (1 + exp(−x))를 갖는 단일 은닉층 피드포워드 신경망을 사용하며, 내부 가중치 αi와 편향 βi를 무작위로 선택하고 고정한다.
• 해를 선형 조합으로 구성한다: G(x) = Σ wi σ(αi x + βi), 여기서 출력 가중치 wi만 보간을 통해 학습된다.
• 경계 조건을 경계점에서 직접 보간 방정식으로 적용하여 딜레르크 조건을 정확히 만족시킨다.
• M개의 보간점에서 PDE를 강제로 만족시키는 방식으로 선형 연립방정식을 구성하여 수치적 해를 도출하며, 이는 부족한 조건의 선형 시스템으로서 최소제곱법으로 해결된다.
• 해의 급격한 기울기 영역을 충분히 커버하고 근사 능력이 확보되도록 내부 가중치와 편향의 범위를 사전에 결정한다.
• 부족한 조건의 보간 기반(즉, M < n)을 사용하여 조건 수가 나빠지는 것을 방지하고, 특히 n이 클 경우 수치적 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 내부 가중치와 편향을 고정한 ELM 네트워크가 전통적 방법보다 급격한 기울기를 갖는 타원형 PDE의 해를 더 효과적으로 근사할 수 있는가?
• RQ2 내부 가중치와 편향의 범위 선택이 ELM 기반 보간법의 근사 품질에 어떤 영향을 미치는가?
• RQ3 정확도를 높이면서도 조건 수 문제가 발생하지 않도록 하기 위해, 보간점 수 M과 뉴런 수 n 사이의 최적 비율은 무엇인가?
• RQ4 경계층이 존재하는 문제에서 ELM 보간법은 고차 유한 차분법(FDM)과 비교해 정확도와 계산 비용 측면에서 얼마나 향상되었는가?
• RQ5 고주기적 또는 콤 모양의 해를 고정된, 학습되지 않은 네트워크 아키텍처로도 최소 오차로 잘 포착할 수 있는가?

주요 결과

• 제안된 ELM 보간법은 경계층이 존재하는 1D 타원형 PDE를 매우 높은 정확도로 해결하며, 페클레 수가 500 이하인 문제에서 L2 오차가 10−10 이하로 유지된다.
• ε = 1/(10π) 인 10개의 영점과 5개의 진동을 갖는 콤 모양의 해에 대해, n = 1280개의 뉴런과 M = n/2개의 보간점으로 L∞ 오차가 10−6 이하로 도달했다.
• 특히 높은 페클레 수와 급격한 기울기를 갖는 문제에서 고차 유한 차분법(FDM)보다 오차와 계산 비용 측면에서 모두 뛰어난 성능을 보였다.
• ELM 해는 C∞로 매끄럽지만, FDM 해는 일반적으로 조각별 다항식이므로 더 매끄럽지 않다.
• 보간점 수 M을 M = n/2로 줄여도 해가 안정적이고 정확하게 유지되어, 부족한 조건에 대한 강건성을 입증했다.
• 네트워크 학습이 전혀 없기 때문에 기존의 ANN 기반 해법보다 계산 비용이 크게 감소하여 반복적 또는 빠른 해를 필요로 하는 문제에 매우 효율적이다.