[논문 리뷰] Physics-informed attention-based neural network for solving non-linear partial differential equations

Ruben Rodriguez-Torrado, Pablo Jácome Ruiz외 5명|arXiv (Cornell University)|2021. 05. 17.

Model Reduction and Neural Networks참고 문헌 24인용 수 13

한 줄 요약

이 논문은 비선형 초구형 PDE(예: Buckley-Leverett 방정식)를 해결하기 위해 게이트드 순환 단위(GRUs)와 자기주의 기반 메커니즘을 조합한 새로운 아키텍처인 물리학 기반 주의 기반 신경망(PIANNs)을 제안한다. 기존 PINNs가 잔차 정규화나 인위적 난류를 기반으로 하는 것과 달리, PIANNs는 주의 기반 적응을 통해 충격파를 자동으로 탐지하고 포착하여, 잔차 오차가 매우 작고, 내삽 및 외삽 능력이 뛰어난 고정밀도 해를 달성한다.

ABSTRACT

Physics-Informed Neural Networks (PINNs) have enabled significant improvements in modelling physical processes described by partial differential equations (PDEs). PINNs are based on simple architectures, and learn the behavior of complex physical systems by optimizing the network parameters to minimize the residual of the underlying PDE. Current network architectures share some of the limitations of classical numerical discretization schemes when applied to non-linear differential equations in continuum mechanics. A paradigmatic example is the solution of hyperbolic conservation laws that develop highly localized nonlinear shock waves. Learning solutions of PDEs with dominant hyperbolic character is a challenge for current PINN approaches, which rely, like most grid-based numerical schemes, on adding artificial dissipation. Here, we address the fundamental question of which network architectures are best suited to learn the complex behavior of non-linear PDEs. We focus on network architecture rather than on residual regularization. Our new methodology, called Physics-Informed Attention-based Neural Networks, (PIANNs), is a combination of recurrent neural networks and attention mechanisms. The attention mechanism adapts the behavior of the deep neural network to the non-linear features of the solution, and break the current limitations of PINNs. We find that PIANNs effectively capture the shock front in a hyperbolic model problem, and are capable of providing high-quality solutions inside and beyond the training set.

연구 동기 및 목표

• 현재 물리학 기반 신경망(PINNs)이 충격파를 동반한 비선형 초구형 PDE를 해결하는 데 가지는 한계를 해결하기 위해.
• 물리적 구조를 모델 설계에 직접 통합함으로써 전용 네트워크 아키텍처가 표준 PINNs를 능가할 수 있는지 탐색하기 위해.
• 초구형 보존 법칙에서 충격파 포착을 위해 잔차 정규화나 인위적 난류에 의존하지 않도록 하기 위해.
• Buckley-Leverett 모델에서 이동도 비율의 변화 범위를 초월하여 해의 내삽 및 외삽을 정확하게 수행할 수 있도록 하기 위해.
• 주의 기반 메커니즘이 충격파와 같은 局소적 비선형 특징에 동적으로 적응할 수 있음을 입증하기 위해.

제안 방법

• 제안된 아키텍처는 순차적 기억과 맥락 유지 기능을 위한 게이트드 순환 단위(GRUs)와 공간적·시간적 의존성에 대해 동적으로 가중치를 부여하는 자기주의 기반 메커니즘을 조합한다.
• 네트워크는 인코더-디코더 프레임워크로 구성되며, 인코더는 전체 입력 도메인을 처리하고, 디코더는 관련 특징에 주의를 기울여 예측을 생성한다.
• 초기 조건과 경계 조건은 하이퍼파rameter 조정 없이 네트워크 아키텍처에 직접 통합되어 정확히 강제된다.
• 손실 함수는 경계 조건이나 初기 조건에 대한 추가 정규화 없이, 유일하게 PDE 잔차를 최소화하는 데 기반한다.
• 모델은 자동 미분를 사용하여 스파티오토르피컬 도메인 전역에서의 governing PDE의 잔차를 최소화하는 방식으로 엔드 투 엔드로 훈련된다.
• 이 방법은 충격 형성이 일어나는 초구형 보존 법칙의 기준 문제인 비볼록 플럭스를 가진 Buckley-Leverett 방정식에서 평가된다.

실험 결과

연구 질문

• RQ1 주의 기반 메커니즘을 통합한 물리학 기반 신경망 아키텍처가 표준 PINNs보다 초구형 PDE의 충격파를 더 효과적으로 해결할 수 있는가?
• RQ2 주의 기반 메커니즘이 인위적 난류나 충격파 위치에 대한 사전 지식 없이도 충격파 전면을 자동으로 탐지하고 적응할 수 있는가?
• RQ3 PIANN 모델이 학습 중에 사용된 이동도 비율의 범위를 초월하여 해를 얼마나 잘 내삽 및 외삽할 수 있는가?
• RQ4 PIANN의 잔차 오차는 훈련 데이터의 공간적·시간적 해상도가 증가함에 따라 어떻게 변화하는가?
• RQ5 PIANN이 수치적 난류를 도입하지 않더라도 전통적인 유한차분 방법(예: 업윈드 또는 중심차분)과 비교해 유사하거나 더 높은 정확도를 달성할 수 있는가?

주요 결과

• PIANN 모델은 훈련 중에 PDE 잔차를 1×10⁻⁴ 이하로 줄여, 소멸 방정식을 효과적으로 해결하고 있음을 확인한다.
• 주의 기반 메커니즘이 충격파 위치를 성공적으로 식별하고, 비연속적 해 특징을 정확하게 표현하기 위해 적응함을 입증한다.
• 모델은 학습에 사용된 이동도 비율의 범위 내외에서 모두 고정밀도 해를 달성하여 강력한 일반화 및 외삽 능력을 보여준다.
• 더 높은 훈련 해상도에서 잔차 오차는 약간 감소한다(예: Δx=1×10⁻²일 때 1×10⁻⁴에서 Δx=1×10⁻³일 때 8.7×10⁻⁵로 감소), 그러나 변화는 크지 않아 해상도 변화에 대해 강건함을 시사한다.
• PIANN는 인위적 난류를 도입하지 않아도 일阶 업윈드 유한차분 방법과 유사한 성능을 보이며, 충격파 포착에 수치적 확산에 의존하지 않음을 시사한다.
• 비볼록 플럭스를 가진 Buckley-Leverett 문제에서 기존 PINNs보다 우수한 성능을 보이며, 이는 이전에 플럭스 함수의 볼록성 부족으로 인해 어려움을 겪었던 문제를 해결함을 보여준다.