[논문 리뷰] Least-Squares ReLU Neural Network (LSNN) Method For Scalar Nonlinear Hyperbolic Conservation Law

Zhiqiang Cai, Jingshuang Chen외 1명|arXiv (Cornell University)|2021. 05. 25.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 스칼라 비선형 쌍곡 보존법칙을 해결하기 위해 블록 공간-시간 최소제곱 ReLU 신경망(LSNN) 방법을 도입한다. 이 방법은 수치적 적분과 보존적인 유한체적 방법을 활용한 ReLU 신경망 함수 위에서 최소제곱 공식을 적용한다. 이 방법은 격자 기반 기존 방법보다 낮은 자유도를 가지면서도 기생 진동 현상 없이 불연속적인 충격을 정확히 포착한다.

ABSTRACT

We introduced the least-squares ReLU neural network (LSNN) method for solving the linear advection-reaction problem with discontinuous solution and showed that the method outperforms mesh-based numerical methods in terms of the number of degrees of freedom. This paper studies the LSNN method for scalar nonlinear hyperbolic conservation law. The method is a discretization of an equivalent least-squares (LS) formulation in the set of neural network functions with the ReLU activation function. Evaluation of the LS functional is done by using numerical integration and conservative finite volume scheme. Numerical results of some test problems show that the method is capable of approximating the discontinuous interface of the underlying problem automatically through the free breaking lines of the ReLU neural network. Moreover, the method does not exhibit the common Gibbs phenomena along the discontinuous interface.

연구 동기 및 목표

• 불연속적인 해를 가진 스칼라 비선형 쌍곡 보존법칙을 해결하는 데 있어 기존의 격자 기반 방법이 기생 진동 현상과 복잡한 안정화 기법을 필요로 하는 문제를 해결한다.
• ReLU 신경망을 활용한 격자 없는 수치적 방법을 개발하여, 네트워크의 조각별 선형 구조를 통해 불연속적 인터페이스에 자동으로 적응한다.
• 비선형 쌍곡 문제에서의 학습 불안정성을 해결하기 위해, 유입 조건과 초기 조건에 따라 영역을 순차적으로 처리하는 블록 공간-시간 LSNN 접근법을 도입한다.
• Roe 및 ENO와 같은 보존적 방법에서 유도된 암묵적인 유한차분 연산자를 통해 랭킨-후고니오 점프 조건을 약하게 강제한다.
• 기존의 유한체적 방법에 비해 자유도가 훨씬 낮으면서도 높은 정확도를 달성함으로써, 특히 충격 해상도에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 스칼라 비선형 쌍곡 보존법칙을 ReLU 신경망 함수의 공간 위에서 최소제곱 최적화 문제로 재구성하여, PDE, 초기 조건, 유입 경계 조건의 잔차를 최소화한다.
• 수치적 적분과 보존적인 유한체적 방법을 사용하여 최소제곱 기능을 이산화하여 공간 도함수와 물결류를 근사한다.
• 불연속성에서 랭킨-후고니오 점프 조건을 약하게 강제하기 위해 암묵적인 이산 유한차분 연산자를 도입하여 물리적 일관성을 확보한다.
• 유입 조건과 초기 데이터에 따라 공간-시간 영역을 순차적인 블록으로 분할하는 블록 공간-시간 LSNN 방법을 제안하여, 단계별로 정보를 전파함으로써 안정적인 학습을 가능하게 한다.
• 한 블록에서 학습된 매개변수를 다음 블록의 초기화로 사용함으로써, 비선형 및 시간에 따라 변화하는 문제에서 수렴성과 안정성을 향상시킨다.
• 정확도를 향상시키기 위해 충격 근처에서 보존성을 유지하면서도 높은 정확도를 제공하는 2차 ENO 및 Roe 방법을 사용하여 수치적 물결류를 평가한다.

실험 결과

연구 질문

• RQ1 최소제곱 ReLU 신경망(LSNN) 방법은 기생 진동 없이 스칼라 비선형 쌍곡 보존법칙에서 불연속적인 충격을 효과적으로 해석할 수 있는가?
• RQ2 비선형 쌍곡 문제에서 전역적 LSNN 접근법에 비해 블록 공간-시간 LSNN 방법은 학습 안정성과 정확도를 어떻게 향상시키는가?
• RQ3 LSNN 방법은 기존의 격자 기반 방법(예: 유한체적 방법)에 비해 자유도를 얼마나 줄이는가?
• RQ4 다양한 수치적 물결류 방법(Roe 대비 ENO)은 LSNN 방법의 정확도와 충격 해상도에 어떤 영향을 미치는가?
• RQ5 LSNN 방법은 희박한 파동과 비凸성 물결류를 충분한 정확도로 포착할 수 있는가?

주요 결과

• LSNN 방법은 점성 없는 버거 방정식에서 조각별 선형 초기 조건이 주어진 경우에도 기생 진동 현상 없이 불연속적인 충격을 성공적으로 포착한다.
• 여섯 개의 블록에서 ENO-물결류 LSNN 방법의 상대 $L^2$ 오차는 $t=0.6$ 시점에서 0.053 이하였으며, 첫 번째 블록에서 가장 낮은 오차(0.008958)를 기록하여 뛰어난 충격 해상도를 입증한다.
• ENO-물결류 변종은 높은 계산 비용에도 불구하고 Roe-물결류 변종에 비해 상대 $L^2$ 오차와 충격 프로파일 정확도에서 뛰어난 성능을 보였다.
• 블록 공간-시간 LSNN 방법은 전통적인 유한체적 방법에 비해 자유도를 크게 감소시키면서도 충격 해상도에서 높은 정확도를 유지하였다.
• ReLU 네트워크의 자유로운 파손선 구조를 활용하여 급격한 기울기와 불연속성을 효과적으로 처리함으로써, 이 방법은 강건성을 입증하였다.
• 다른 결과들에 비해 유망한 성능를 보였지만, 복잡한 초기 조건과 비凸성 물결류에서는 정확도에 한계를 보였으며, 이는 향상된 수치적 물결류와 최적화 전략이 필요함을 시사한다.