[논문 리뷰] A Discussion on Solving Partial Differential Equations using Neural Networks

Tim Dockhorn|arXiv (Cornell University)|2019. 04. 15.

Model Reduction and Neural Networks참고 문헌 13인용 수 42

한 줄 요약

이 논문은 작은 신경망이 Poisson 및 정적 Navier–Stokes PDE의 해를 근사할 수 있음을 보여주고, 무작위 초기화가 앙상블 성능 향상을 가능하게 하는 방법을 탐구하며, 손실 함수, 고전 방법과의 비교, 향후 방향에 대해 논의한다.

ABSTRACT

Can neural networks learn to solve partial differential equations (PDEs)? We investigate this question for two (systems of) PDEs, namely, the Poisson equation and the steady Navier--Stokes equations. The contributions of this paper are five-fold. (1) Numerical experiments show that small neural networks (< 500 learnable parameters) are able to accurately learn complex solutions for systems of partial differential equations. (2) It investigates the influence of random weight initialization on the quality of the neural network approximate solution and demonstrates how one can take advantage of this non-determinism using ensemble learning. (3) It investigates the suitability of the loss function used in this work. (4) It studies the benefits and drawbacks of solving (systems of) PDEs with neural networks compared to classical numerical methods. (5) It proposes an exhaustive list of possible directions of future work.

연구 동기 및 목표

• 공학 및 과학에서 PDE를 해결하기 위해 신경망 사용의 필요성과 동기를 제시한다.
• 작은 네트워크가 Poisson 및 Navier–Stokes 문제의 PDE 해를 정확하게 근사할 수 있음을 보인다.
• 무작위 가중치 초기화가 결과에 미치는 영향을 조사하고, 앙상블 방법이 이러한 비결정성을 어떻게 활용할 수 있는지 탐구한다.
• 제안된 신경 PDE 해법기를 고전적 수치 방법과 대조하여 평가하고 장점과 단점을 논의한다.
• 신경 PDE 해법에 대한 향후 연구 방향을 제안한다.

제안 방법

• 신경망 ŭ(x, θ)로 PDE 해를 근사하고, 도메인 내의 PDE 잔차와 경계에서의 경계 조건을 강제하는 손실 L_MC(θ)로 학습한다.
• Ω의 내부 점과 ∂Ω의 경계 점을 각각 샘플링하여 손실의 몬테카를로 추정치를 사용한다.
• 제약된 경계 조건을 L_MC를 통해 비제약 페널티로 변환하고 코너 항 정규화를 포함한 변형을 탐구한다.
• BFGS로 네트워크를 최적화하고 시그모이드 활성화 함수와 Xavier 초기화를 사용한다; 작은 네트워크(≤ ~500 매개변수)를 활용하여 Poisson 및 정적 Navier–Stokes 문제에 대해 시험한다.
• 여러 네트워크를 학습시키고 앙상블 평균을 적용하여 정확도를 높임으로써 무작위 초기화의 효과를 조사한다.
• 손실 메트릭과 실제 해 오차 간의 상관관계를 조사하여 손실 함수의 적합성을 평가한다.

실험 결과

연구 질문

• RQ1 작은 신경망이 Poisson 및 정적 Navier–Stokes PDE의 해를 정확하게 학습할 수 있는가?
• RQ2 무작위 초기화가 신경 PDE 해의 품질에 어떤 영향을 미치며, 앙상블 방법이 이 변동성을 완화할 수 있는가?
• RQ3 제안된 손실 함수가 이론적으로 정당화되며 PDE 해법기 학습에 실질적으로 효과적인가?
• RQ4 정확도, 속도, 유연성 측면에서 신경 PDE 해법기와 고전적 수치 방법의 트레이드오프는 무엇인가?
• RQ5 향후 방향 및 개선점은 무엇인가?

주요 결과

• 작은 신경망(매개변수 500개 미만)은 Poisson 및 Navier–Stokes 문제의 복잡한 PDE 해를 학습할 수 있다.
• 무작위 초기화가 결과에 무시할 수 없는 영향을 주며, 다중 학습에 걸친 앙상블 평균이 정확도를 향상시킨다.
• 제안된 MC 기반 손실 함수는 실제 오차와의 상관관계가 다양하게 나타나며 강한 이론적 정당화보다는 경험적 지침을 시사한다.
• 신경망으로 PDE를 해결하면 임의의 도메인 처리와 센서 데이터 통합의 유연성을 제공하지만 느리고 수렴 보장을 입증하기 어렵다.
• 본 연구는 손실 함수, 최적화 문제 및 신경 PDE 해법기에 대한 잠재적 향후 방향에 대해 폭넓은 논의를 제공한다.