[논문 리뷰] Reduced-PINN: An Integration-Based Physics-Informed Neural Networks for Stiff ODEs

Pouyan Nasiri, Roozbeh Dargazany|arXiv (Cornell University)|2022. 08. 23.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 강성 있는 미분방정식(ODE)에서 표준 PINN의 학습 불안정성과 낮은 성능 문제를 해결하기 위해, 강성 있는 ODE를 약한 형태의 적분방정식으로 재구성하는 Reduced-PINN라는 물리정보 신경망 프레임워크를 제안한다. 여러 손실 항을 하나의 적분 기반 손실로 대체함으로써, Reduced-PINN는 강성 있는 화학 반응 동역학, 특히 도전적인 ROBER 문제를 포함하여 안정적이고 정확하며 계산적으로 효율적인 시뮬레이션을 가능하게 하며, BDF와 같은 고차수 수치 해법과 유사한 결과를 도출한다.

ABSTRACT

Physics-informed neural networks (PINNs) have recently received much attention due to their capabilities in solving both forward and inverse problems. For training a deep neural network associated with a PINN, one typically constructs a total loss function using a weighted sum of different loss terms and then tries to minimize that. This approach often becomes problematic for solving stiff equations since it cannot consider adaptive increments. Many studies reported the poor performance of the PINN and its challenges in simulating stiff chemical active issues with administering conditions of stiff ordinary differential conditions (ODEs). Studies show that stiffness is the primary cause of the failure of the PINN in simulating stiff kinetic systems. Here, we address this issue by proposing a reduced weak-form of the loss function, which led to a new PINN architecture, further named as Reduced-PINN, that utilizes a reduced-order integration method to enable the PINN to solve stiff chemical kinetics. The proposed Reduced-PINN can be applied to various reaction-diffusion systems involving stiff dynamics. To this end, we transform initial value problems (IVPs) to their equivalent integral forms and solve the resulting integral equations using physics-informed neural networks. In our derived integral-based optimization process, there is only one term without explicitly incorporating loss terms associated with ordinary differential equation (ODE) and initial conditions (ICs). To illustrate the capabilities of Reduced-PINN, we used it to simulate multiple stiff/mild second-order ODEs. We show that Reduced-PINN captures the solution accurately for a stiff scalar ODE. We also validated the Reduced-PINN against a stiff system of linear ODEs.

연구 동기 및 목표

• 강성 있는 상미분방정식(ODE)을 시뮬레이션하는 데 있어 표준 PINN의 실패 원인을 해결한다. 특히 시간 스케일이 극명하게 다른 화학 반응 동역학에서의 문제를 대상으로 한다.
• 빠른 동역학과 느린 동역학에서 발생하는 충돌하는 기울기로 인해 강성 문제를 겪는 PINN의 가중치 합 손실 함수의 한계를 극복한다.
• 초기값 문제를 약한 형태의 적분방정식으로 변환함으로써 단일 손실 형식을 통합함으로써 복잡성을 줄이고 학습 안정성을 향상시킨다.
• 시간 영역을 더 작은 간격으로 나누어 순차적으로 Reduced-PINN를 적용함으로써 강성 시스템의 장기적 시뮬레이션을 가능하게 한다.
• 기본적인 강성 문제, 특히 비선형 ROBER 시스템을 포함한 표준 테스트 케이스에서 프레임워크를 검증하여 표준 PINN보다 뛰어난 정확성과 효율성을 입증한다.

제안 방법

• 약한 형태의 공식화를 사용하여 초깃값 문제(IVP)를 등가적인 적분방정식으로 변환함으로써, 명시적인 ODE 및 초깃값 손실 항을 제거한다.
• 적분방정식 잔여항 기반의 단일 통합 손실 함수를 구성함으로써, 표준 PINN에서 다수의 손실 구성 요소를 대체한다.
• 적분 항을 효율적으로 근사하기 위해 저차원 적분 방법을 적용하여 계산 비용을 감소시킨다.
• 시간 간격을 나누어 순차적으로 Reduced-PINN를 적용함으로써, 향상된 학습 속도와 안정성을 확보한 장기 시뮬레이션을 가능하게 한다.
• 자동 미분를 통해 손실 함수를 강제 적용하면서 깊은 신경망을 학습시켜 해 궤적을 근사한다.
• 고정밀도 시뮬레이션에서 비교를 위해 후진 미분 공식(BDF)을 기준으로 사용한다.

실험 결과

연구 질문

• RQ1 강성 있는 ODE에 대해 표준 PINN의 다수 손실 항을 하나의 적분 기반 손실 함수로 대체함으로써 학습 안정성을 향상시킬 수 있는가?
• RQ2 ODE를 약한 형태의 적분방정식으로 변환하면, 표준 PINN보다 더 정확하고 효율적인 강성 있는 화학 반응 동역학의 시뮬레이션을 가능하게 하는가?
• RQ3 시간 영역을 더 작은 간격으로 나누어 순차적으로 Reduced-PINN를 적용함으로써 강성 시스템의 장기적 동역학을 성공적으로 시뮬레이션할 수 있는가?
• RQ4 ROBER 시스템과 같이 시간 스케일 격차가 9차까지 존재하는 기준 강성 문제에서 Reduced-PINN는 어떻게 성능을 보이는가?
• RQ5 Reduced-PINN는 계산 비용을 줄이며 BDF와 같은 고차수 수치 해법과 유사한 정확도를 달성할 수 있는가?

주요 결과

• Reduced-PINN는 강성 있는 스칼라 ODE의 해를 정확하게 포착하여 표준 PINN보다 뛰어난 성능을 보였다.
• 선형 ODE의 강성 시스템에 대해 Reduced-PINN는 정확한 해와 뛰어난 일치를 보이며 그 강건성을 입증하였다.
• 시간 스케일 격차가 9차까지 존재하는 기준 비선형 강성 시스템인 ROBER 문제에서 Reduced-PINN는 BDF 해법 결과와 높은 정밀도로 일치하였다.
• 표준 PINN가 이러한 문제에서 수렴하지 못하는 데 비해, Reduced-PINN는 훨씬 낮은 계산 비용으로 정확한 시뮬레이션을 달성하였다.
• 시간 영역을 나누어 순차적으로 Reduced-PINN를 적용함으로써 안정적이고 확장 가능한 장기 시뮬레이션을 가능하게 하였다.
• 단일 적분 손실 형식은 표준 PINN에서 흔히 발생하는 기울기 불균형 문제를 제거하여 더 신뢰할 수 있는 학습을 가능하게 하였다.