[논문 리뷰] Distributed physics informed neural network for data-efficient solution to partial differential equations

Vikas Dwivedi, Nishant Parashar외 1명|arXiv (Cornell University)|2019. 01. 01.

Model Reduction and Neural Networks참고 문헌 21인용 수 29

한 줄 요약

이 논문은 계산 도메인을 하위 도메인으로 분할하고 각 도메인을 얕은 국소 PINN로 해결하는 분산 물리 기반 신경망(DPINN)을 제안한다. 이는 데이터 효율성과 정확도를 향상시킨다. DPINN은 버거스 방정식과 정 steady-state 나비에-스토크스 방정식과 같은 비선형 PDE를 해결할 때 표준 PINN보다 뛰어나며, 특히 급격한 기울기와 데이터 요구량을 줄이는 데 유리하다.

ABSTRACT

The physics informed neural network (PINN) is evolving as a viable method to solve partial differential equations. In the recent past PINNs have been successfully tested and validated to find solutions to both linear and non-linear partial differential equations (PDEs). However, the literature lacks detailed investigation of PINNs in terms of their representation capability. In this work, we first test the original PINN method in terms of its capability to represent a complicated function. Further, to address the shortcomings of the PINN architecture, we propose a novel distributed PINN, named DPINN. We first perform a direct comparison of the proposed DPINN approach against PINN to solve a non-linear PDE (Burgers' equation). We show that DPINN not only yields a more accurate solution to the Burgers' equation, but it is found to be more data-efficient as well. At last, we employ our novel DPINN to two-dimensional steady-state Navier-Stokes equation, which is a system of non-linear PDEs. To the best of the authors' knowledge, this is the first such attempt to directly solve the Navier-Stokes equation using a physics informed neural network.

연구 동기 및 목표

• 복잡한 함수를 표현하는 데 어려움을 겪고 급격한 기울기를 다루는 데 문제가 되는 표준 PINN의 한계를 해결한다.
• 깊은 PINN에서 발생하는 소실 기울기 문제를 해결하기 위해 얕고 국소적인 네트워크를 사용한다.
• 계산 도메인을 분할하고 경계 연속성 조건을 적용함으로써 PDE를 해결하는 데 있어 데이터 효율성을 향상시킨다.
• 물리 기반 학습을 통해 직접적으로 비선형 PDE 시스템, 예를 들어 나비에-스토크스 방정식을 해결할 수 있는 PINN 기반 방법의 능력을 입증한다.
• 향후 역 문제 및 고차원 PDE에의 적용을 위한 기반을 마련한다.

제안 방법

• 계산 도메인을 더 작은 하위 도메인(셀)으로 분할하여 국소적이고 얕은 PINN 해법을 가능하게 한다.
• 각 셀에서 두 층의 완전 연결 신경망을 사용하여 깊이에 기인한 기울기 소실 문제를 줄인다.
• 셀 경계를 넘는 연속성 조건을 강제하기 위해 손실 함수에 경계면 유량 불일치 페널티를 도입한다.
• PDE 잔여항, 경계 조건, 초기 조건, 그리고 셀 간 연속성 제약 조건을 포함한 복합 손실 함수를 구성한다.
• 각 국소 PINN 내에서 도함수를 계산하기 위해 자동 미분을 적용한다.
• 경계점과 함께 도메인 전반에 흩어진 콜로케이션 점을 사용하여 분산 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 분산 PINN 아키텍처는 복잡하고 고주파 수학적 함수를 표현하는 데 있어 표준 PINN의 표현 능력을 향상시킬 수 있는가?
• RQ2 DPINN 접근법은 비선형 PDE의 해를 유지하거나 향상시키면서도 데이터 요구량을 줄일 수 있는가?
• RQ3 DPINN는 정 steady-state 나비에-스토크스 방정식과 같은 비선형 PDE 시스템을 성공적으로 해결할 수 있는가?
• RQ4 표준 PINN에 비해 DPINN는 급격한 기울기와 웨이브 패킷의 이동을 얼마나 잘 포착하는가?
• RQ5 경계 연속성 제약 조건이 일반화 능력 향상과 데이터 효율성 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• 표준 PINN가 포착하지 못하는 고주파 웨이브 패킷을 DPINN가 성공적으로 표현하여 뛰어난 표현 능력을 입증한다.
• 버거스 방정식의 경우, DPINN는 훨씬 적은 훈련 데이터 포인트로도 표준 PINN보다 낮은 평균 제곱 오차(MSE)를 달성한다.
• DPINN는 Re = 10인 정 steady-state 리드된 캐비티 유동을 정확하게 예측하며, 속도 및 압력장이 Ghia 등(1982)의 잘 알려진 기준 결과와 잘 일치한다.
• DPINN가 생성한 유선, 속도 및 압력 등고선은 물리적으로 일관된 흐름 패턴을 보이며, 이는 방법의 물리적 타당성을 확인한다.
• DPINN 접근법은 물리 기반 신경망 프레임워크를 사용하여 정 steady-state 나비에-스토크스 방정식을 직접 해결한 최초의 사례이다.
• DPINN의 경계 연속성 제약 조건은 일반화 능력 향상과 데이터 의존도 감소에 기여하는 자연스러운 정규화 요소로 작용한다.