[논문 리뷰] A Discontinuity Capturing Shallow Neural Network for Elliptic Interface Problems

Wei-Fan Hu, Te‐Sheng Lin외 1명|arXiv (Cornell University)|2021. 06. 10.

Model Reduction and Neural Networks참고 문헌 19인용 수 10

한 줄 요약

이 논문은 해와 도함수에서 점프 불연속성이 있는 타원형 인터페이스 문제를 해결하기 위해 불연속성 포착 얕은 신경망(DCSNN)을 제안한다. 하위영역을 나타내는 추가 좌표를 도메인에 추가함으로써, 조각연속 문제를 (d+1)-차원 공간에서 연속 문제로 변환하여 단일 은닉층 신경망을 통한 정확한 근사가 가능해진다. 이 방법은 단지 수백 개의 파rameter만으로도 높은 정확도를 달성하며, 기존의 잠김 표면 방법(IIM)을 뛰어넘는 성능을 보이며, 최대 6차원 문제에서도 유사한 성능을 유지한다.

ABSTRACT

In this paper, a new Discontinuity Capturing Shallow Neural Network (DCSNN) for approximating $d$-dimensional piecewise continuous functions and for solving elliptic interface problems is developed. There are three novel features in the present network; namely, (i) jump discontinuities are accurately captured, (ii) it is completely shallow, comprising only one hidden layer, (iii) it is completely mesh-free for solving partial differential equations. The crucial idea here is that a $d$-dimensional piecewise continuous function can be extended to a continuous function defined in $(d+1)$-dimensional space, where the augmented coordinate variable labels the pieces of each sub-domain. We then construct a shallow neural network to express this new function. Since only one hidden layer is employed, the number of training parameters (weights and biases) scales linearly with the dimension and the neurons used in the hidden layer. For solving elliptic interface problems, the network is trained by minimizing the mean square error loss that consists of the residual of the governing equation, boundary condition, and the interface jump conditions. We perform a series of numerical tests to demonstrate the accuracy of the present network. Our DCSNN model is efficient due to only a moderate number of parameters needed to be trained (a few hundred parameters used throughout all numerical examples), and the results indicate good accuracy. Compared with the results obtained by the traditional grid-based immersed interface method (IIM), which is designed particularly for elliptic interface problems, our network model shows a better accuracy than IIM. We conclude by solving a six-dimensional problem to demonstrate the capability of the present network for high-dimensional applications.

연구 동기 및 목표

• 타원형 인터페이스 문제의 해에서 발생하는 점프 불연속성을 정확히 포착할 수 있는 메쉬-프리, 얕은 신경망을 개발하는 것.
• 비연속적인 도함수를 가진 비스무스 해를 다룰 때 딥 네트워크와 전통적 방법의 한계를 극복하는 것.
• 선형 파rameter 스케일링을 활용한 얕은 아키텍처를 통해 고차원 타원형 PDE의 효율적 해법을 제공하는 것.
• 깊은 스태킹 없이도 높은 정확도를 유지하면서도 간단하고 해석 가능한 신경망 아키텍처를 제공하는 것.
• 불규칙한 도메인과 고차원 문제(최대 d=6)에서의 방법의 강건성을 입증하는 것.

제안 방법

• d차원 문제 도메인에 하위영역을 표시하기 위한 추가 좌표를 추가하여, 조각연속 함수를 (d+1)-차원 공간에서 연속 함수로 변환한다.
• 증강된 연속 함수를 근사하기 위해 단일 은닉층만을 가진 얕고, 완전히 연결된 순방향 신경망을 구성한다.
• PDE 잔여항, 경계 조건, 인터페이스 점프 조건을 포함하는 물리 기반 손실 함수를 최소화함으로써 네트워크를 훈련시킨다.
• 일반적인 근사 정리의 논리를 활용하여 네트워크가 증강된 함수를 정확히 표현할 수 있음을 정당화한다.
• 은닉층의 뉴런 수를 조절하여 정확도를 제어하면서 깊이를 증가시키지 않는다.
• 도메인 이산화를 피하는 메쉬-프리 접근법을 구현하여, 복잡하고 고차원 도메인에 적용 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 은닉층만을 가진 얕은 신경망이 점프 불연속성이 있는 조각연속 함수를 정확히 근사할 수 있는가?
• RQ2 제안된 DCSNN 방법이 타원형 인터페이스 문제를 해결하는 데 있어 전통적인 메쉬 기반 방법인 잠김 표면 방법(IIM)을 뛰어넘을 수 있는가?
• RQ3 기존 방법이 차원의 극복 문제에 시달리는 고차원 문제(예: d=6)에서 DCSNN의 성능은 어떠한가?
• RQ4 DCSNN의 메쉬-프리, 파rameter 효율적인 아키텍처는 단지 수백 개의 훈련 가능한 파rameter로도 정확도를 유지할 수 있는가?
• RQ5 고차원 설정에서 DCSNN의 훈련 동작과 수렴 속도는 어떻게 변화하는가?

주요 결과

• 2차원 인터페이스 문제에서 DCSNN은 자유도 220,1776개를 가진 상태에서 최대 절대 오차 3.276×10⁻⁵를 기록하며 IIM를 뛰어넘는 성능을 보였다.
• 3차원 문제에서 DCSNN은 자유도 17,194,216개를 가진 상태에서 L² 오차 5.809×10⁻⁷을 기록하여 적은 파rameter로도 높은 정확도를 달성했다.
• 6차원 타원형 인터페이스 문제에서 DCSNN은 단지 91개의 훈련 가능한 파rameter(N=10)로 L∞ 오차 1.689×10⁻⁴를 기록하여 고차원으로의 강력한 확장성을 보였다.
• 훈련 손실과 L∞ 오차는 100회 반복 이내에 포화 상태에 도달하여 빠른 수렴을 보였지만, 고차원성으로 인해 향후 향상은 제한되었다.
• 훈련 포인트를 늘려도 정확도가 유지됨을 확인하여, 수렴이 데이터 양이 아닌 차원성에 의해 제한됨을 시사했다.
• 6차원 문제를 해결하기 위해 DCSNN 모델은 단지 451개의 파rameter(N=50)만을 사용하여 기존 방법에 비해 놀라운 파rameter 효율성을 보였다.