[논문 리뷰] dNNsolve: an efficient NN-based PDE solver

Veronica Guidetti, Francesco Muia외 2명|arXiv (Cornell University)|2021. 01. 01.

Model Reduction and Neural Networks참고 문헌 54인용 수 6

한 줄 요약

dNNsolve는 사인 및 시그모이드 활성화 함수를 사용하는 이중 신경망을 활용하여, 초파라미터 조정 없이도 1D, 2D, 3D에서 다양한 상미분방정식과 편미분방정식을 효율적으로 해결할 수 있는 새로운 물리 기반 신경망 해법이다. 주어진 문제의 최적 해 표현을 위해 주기적 및 비주기적 기저 함수를 적응적으로 조합하는 특수한 아키텍처를 활용함으로써, 1D 문제의 경우 10⁻⁵ 이하, 2D 및 3D 문제의 경우 10⁻⁶ 이하의 높은 정확도를 달성한다.

ABSTRACT

Neural Networks (NNs) can be used to solve Ordinary and Partial Differential Equations (ODEs and PDEs) by redefining the question as an optimization problem. The objective function to be optimized is the sum of the squares of the PDE to be solved and of the initial/boundary conditions. A feed forward NN is trained to minimise this loss function evaluated on a set of collocation points sampled from the domain where the problem is defined. A compact and smooth solution, that only depends on the weights of the trained NN, is then obtained. This approach is often referred to as PINN, from Physics Informed Neural Network~\cite{raissi2017physics_1, raissi2017physics_2}. Despite the success of the PINN approach in solving various classes of PDEs, an implementation of this idea that is capable of solving a large class of ODEs and PDEs with good accuracy and without the need to finely tune the hyperparameters of the network, is not available yet. In this paper, we introduce a new implementation of this concept - called dNNsolve - that makes use of dual Neural Networks to solve ODEs/PDEs. These include: i) sine and sigmoidal activation functions, that provide a more efficient basis to capture both secular and periodic patterns in the solutions; ii) a newly designed architecture, that makes it easy for the the NN to approximate the solution using the basis functions mentioned above. We show that dNNsolve is capable of solving a broad range of ODEs/PDEs in 1, 2 and 3 spacetime dimensions, without the need of hyperparameter fine-tuning.

연구 동기 및 목표

• 초파라미터 조정이 거의 필요 없이 다양한 상미분방정식과 편미분방정식을 효율적으로 다룰 수 있는 신경망 기반 PDE 해법을 개발하는 것.
• 이중 네트워크 아키텍처에서 사인 및 시그모이드 활성화 함수를 조합하여 해의 정확도와 표현 효율성을 향상시키는 것.
• 사인 활성화 함수로 인해 발생하는 손실 함수의 국소 최소값 문제를 해결하기 위해 손실 구성 요소에 대한 적응형 가중치를 도입하는 것.
• 기존의 유한차분법 및 유한요소법에 비해 메모리 및 계산 비용을 줄이기 위해 네트워크 가중치와 아키텍처만 저장하는 방식을 통해 자원 소비를 최소화하는 것.
• 최소한의 사용자 간섭으로도 다차원 시공간 영역에서 일반적인 ODE 및 PDE 문제를 안정적으로 해결할 수 있도록 하는 것.

제안 방법

• dNNsolve는 주기적 패턴을 포착하기 위해 사인 활성화 함수를 사용하는 네트워크 브랜치와 비주기적 또는 비주기적 행동을 위한 시그모이드 활성화 함수를 사용하는 다른 브랜치를 병렬로 구현한다.
• 두 브랜치의 출력은 요소별 곱셈을 통해 해 표현을 위한 더 풍부하고 적응형 기저 함수로 조합된다.
• 특정 문제에 대해 가장 관련성이 높은 기저 함수(사인, 시그모이드, 또는 그 곱)를 네트워크가 학습할 수 있도록 맞춤형 네트워크 아키텍처를 설계하였다.
• 손실 함수는 도메인 내 편미분방정식의 제곱 잔여항, 초기 조건, 경계 조건을 포함하며, 기여도를 균형 잡기 위해 조정 가능한 가중치 α₀ 및 α∂Ω를 포함한다.
• 역전파를 통해 총 손실을 최소화하도록 학습이 수행되며, 최종 해는 전적으로 훈련된 네트워크 가중치에 암묵적으로 포함된다.
• 이 방법은 1D, 2D, 3D 상미분방정식 및 편미분방정식에 대해 평가되었으며, 조화 진동자, 버거스 방정식, 열 방정식 및 파동 방정식, 소용리성 방정식 등이 포함된다.

실험 결과

연구 질문

• RQ1 사인 및 시그모이드 활성화 함수를 갖는 이중-NN 아키텍처가 상미분방정식 및 편미분방정식의 주기적 및 비주기적 해 성분을 효과적으로 표현할 수 있는가?
• RQ2 dNNsolve는 초파라미터 조정 없이도 1D, 2D, 3D에서 다양한 상미분방정식 및 편미분방정식에 대해 높은 정확도를 달성하는가?
• RQ3 복잡한 경계 조건을 가진 문제에서 적응형 손실 가중치(α₀, α∂Ω)의 사용이 수렴성과 해 품질에 어떤 영향을 미치는가?
• RQ4 기준 PDE 문제에 대해 dNNsolve는 표준 PINN 접근법에 비해 정확도 및 메모리 효율성 측면에서 얼마나 뛰어난가?
• RQ5 dNNsolve는 오실론 프로파일과 같은 도전적인 경계값 문제 및 3D 편미분방정식을 높은 정밀도로 해결하고, 사용자 입력을 최소화할 수 있는가?

주요 결과

• dNNsolve는 조화 진동자 및 그 감쇠형과 같은 1D 문제에서 루트 평균 제곱 오차가 10⁻⁵ 이하로 나타나며, 오실론 프로파일 해는 10⁻⁵ 이하의 정밀도를 확보한다.
• 2D PDE 문제, 특히 열 방정식 및 파동 방정식의 경우 유리한 경우 정확도가 10⁻⁶ 이하에 도달하며, 열 방정식 제외 전반적으로 10⁻⁴ 이하이다.
• 3D 영역에서는 비틀림 방정식 및 기타 PDE 문제를 성공적으로 해결하여 정확도가 10⁻⁴ 이하로 유지되었지만, 최적의 초파라미터 α₀ 및 α∂Ω는 각 문제에 따라 조정이 필요하여 고차원에서는 경미한 튜닝이 필요함을 시사한다.
• 네트워크는 사인 및 시그모이드 브랜치를 동적으로 활용하며, 중복된 뉴런은 잡음으로 기여하여 정확도를 약간 저하시키므로 향후 연구에서 정규화 또는 정제 기법이 필요함을 시사한다.
• dNNsolve는 강성과 지연이 있는 상미분방정식, 그리고 일반적으로 射撃 방법으로 해결되는 경계값 문제를 포함한 다양한 문제에서 안정적인 수렴을 보였다.
• 기존의 FD/FEM 해법이 대규모 이산화된 격자를 저장하는 데 비해, dNNsolve는 네트워크 아키텍처와 훈련된 가중치만 저장함으로써 메모리 복잡도를 극도로 줄였다.