[논문 리뷰] Improved Training of Physics-Informed Neural Networks with Model Ensembles

Katsiaryna Haitsiukevich, Alexander Ilin|arXiv (Cornell University)|2022. 04. 11.

Model Reduction and Neural Networks참고 문헌 36인용 수 4

한 줄 요약

이 논문은 손실 함수의 불균형과 초기화의 열악함으로 인해 정상적인 해에 수렴하지 못하는 PINN의 일반적인 실패 문제를 해결하기 위해, 앙상블의 일치도를 기반으로 동적으로 해의 정의역을 확장함으로써 훈련을 안정화시키는 물리 기반 신경망(PINN) 앙상블 방법을 제안한다. 이 방법은 사전 정의된 스케줄에 의존하지 않으며, 일반화 및 수렴성을 향상시켜 대류, 반응, 반응-확산 PDE에 대해 경쟁적인 성능을 달성하며 안정적인 훈련과 신뢰도 측정을 가능하게 한다.

ABSTRACT

Learning the solution of partial differential equations (PDEs) with a neural network is an attractive alternative to traditional solvers due to its elegance, greater flexibility and the ease of incorporating observed data. However, training such physics-informed neural networks (PINNs) is notoriously difficult in practice since PINNs often converge to wrong solutions. In this paper, we address this problem by training an ensemble of PINNs. Our approach is motivated by the observation that individual PINN models find similar solutions in the vicinity of points with targets (e.g., observed data or initial conditions) while their solutions may substantially differ farther away from such points. Therefore, we propose to use the ensemble agreement as the criterion for gradual expansion of the solution interval, that is including new points for computing the loss derived from differential equations. Due to the flexibility of the domain expansion, our algorithm can easily incorporate measurements in arbitrary locations. In contrast to the existing PINN algorithms with time-adaptive strategies, the proposed algorithm does not need a pre-defined schedule of interval expansion and it treats time and space equally. We experimentally show that the proposed algorithm can stabilize PINN training and yield performance competitive to the recent variants of PINNs trained with time adaptation.

연구 동기 및 목표

• 손실 함수의 불균형과 열악한 초기화로 인해 PINN이 정확한 해에 수렴하지 못하는 문제를 해결하기 위해.
• PINN 훈련에서 사전 정의된 시간 적응 스케줄에 의존하는 것을 제거하기 위해.
• 앙상블 신뢰도를 활용하여 시간과 공간 모두에서 민첩하고 데이터 기반의 정의역 확장을 가능하게 하기 위해.
• 앙상블 신뢰도 구간을 통해 불확실성 추정을 제공하기 위해.
• 대류 및 반응-확산 방정식을 포함한 다양한 PDE 시스템에서 강건성과 일반화 능력을 향상시키기 위해.

제안 방법

• 다양한 무작위 초기화를 가진 PINN 앙상블을 훈련시어 다양한 해 행동을 포괄한다.
• 앙상블 일치도(신뢰도)를 기준으로 점차적으로 새로운 콘테이션 포인트를 PDE 손실에 포함시켜 정의역을 확장한다.
• 높은 앙상블 일치도 영역에 가까운 영역에서 새로운 포인트를 동적으로 선택함으로써 기존 데이터 또는 초기 조건에서 안정적으로 확장이 이루어지도록 보장한다.
• 시간과 공간을 동일하게 취급하여 임의의 위치에 측정값을 통합할 수 있도록 한다.
• 이미 포함된 영역에서 거리 Δ_PDE 이내의 포인트를 포함하는 임계값 기반 메커니즘을 적용하여 탐색과 안정성의 균형을 이룬다.
• 초기 Adam 프리트레이닝 이후 LBFGS 피니팅을 적용하여 최종 정확도를 향상시키며, 앙상블 수렴을 유용하게 활용한다.

실험 결과

연구 질문

• RQ1 앙상블 일치도는 PINN 훈련에서 정의역을 확장하는 신뢰할 수 있는 기준으로 사용될 수 있는가?
• RQ2 신뢰도 기반의 동적 정의역 확장은 고정 스케줄 기반 시간 적응 PINN 방법보다 우월한가?
• RQ3 제안된 방법은 대류 및 반응-확산 시스템을 포함한 다양한 PDE 유형에서 PINN 훈련을 안정화시킬 수 있는가?
• RQ4 Δ_PDE와 같은 하이퍼파rameter 설정에 대해 앙상블 PINN 방법은 얼마나 민감한가?
• RQ5 앙상블은 신뢰도 구간을 통해 의미 있는 불확실성 추정을 제공할 수 있는가?

주요 결과

• 제안된 앙상블 방법은 대류, 반응, 반응-확산 방정식을 포함한 모든 테스트된 PDE 시스템에서 안정적인 훈련을 달성하며 일관된 성능을 보였다.
• Adam 및 LBFGS 최적화기를 사용한 기존 PINN보다 성능이 뛰어나며, 특히 기존 방법이 수렴하지 못하는 시스템에서 두드러진 성능 향상을 보였다.
• bc-PINN 및 SA-PINN와 같은 시간 적응 기반 베이스라인과 비교해도, 사전 정의된 확장 스케줄이 필요 없이 경쟁적 또는 우수한 정확도를 달성했다.
• 특히 Δ_PDE가 적절히 설정된 경우, 하이퍼파ram터 설정에 대해 낮은 민감도를 보이며 강건성을 입증했다.
• 앙상블은 해의 불확실성을 반영하는 신뢰도 구간을 제공하였으며, 초기 조건 또는 경계 조건 근처에서는 높은 일치도, 더 멀리 떨어진 영역에서는 낮은 일치도를 보였다.
• Adam 프리트레이닝 이후 LBFGS 피니팅을 적용하면, 프리트레이닝 기간에 좋은 해가 발견된 경우 최종 정확도가 크게 향상되었다.