[논문 리뷰] Characterizing possible failure modes in physics-informed neural networks

Aditi S. Krishnapriyan, Amir Gholami외 3명|arXiv (Cornell University)|2021. 09. 02.

Model Reduction and Neural Networks참고 문헌 41인용 수 115

한 줄 요약

논문은 vanilla physics-informed neural networks (PINNs)이 소프트 PDE 제약으로 인한 최적화 어려움으로 인해 비자명한 대류, 반응 및 확산 물리학을 학습하는 데 어려움을 겪고, 커리큘럼 정규화와 seq2seq 학습을 통해 성능을 크게 향상시킨다고 제시한다.

ABSTRACT

Recent work in scientific machine learning has developed so-called physics-informed neural network (PINN) models. The typical approach is to incorporate physical domain knowledge as soft constraints on an empirical loss function and use existing machine learning methodologies to train the model. We demonstrate that, while existing PINN methodologies can learn good models for relatively trivial problems, they can easily fail to learn relevant physical phenomena for even slightly more complex problems. In particular, we analyze several distinct situations of widespread physical interest, including learning differential equations with convection, reaction, and diffusion operators. We provide evidence that the soft regularization in PINNs, which involves PDE-based differential operators, can introduce a number of subtle problems, including making the problem more ill-conditioned. Importantly, we show that these possible failure modes are not due to the lack of expressivity in the NN architecture, but that the PINN's setup makes the loss landscape very hard to optimize. We then describe two promising solutions to address these failure modes. The first approach is to use curriculum regularization, where the PINN's loss term starts from a simple PDE regularization, and becomes progressively more complex as the NN gets trained. The second approach is to pose the problem as a sequence-to-sequence learning task, rather than learning to predict the entire space-time at once. Extensive testing shows that we can achieve up to 1-2 orders of magnitude lower error with these methods as compared to regular PINN training.

연구 동기 및 목표

• PDE 문제에 대해 도메인 물리학과 데이터 기반 학습을 결합하기 위해 PINNs의 사용을 정당화한다.
• vanilla PINNs가 관련 물리 현상을 포착하지 못하는 조건을 특징지운다.
• 연성(PDE 기반의) 소프트 정규화가 최적화 및 손실 지형에 미치는 영향을 분석한다.
• 결함을 완화하고 정확도를 향상시키기 위한 실용적 전략을 제안한다.

제안 방법

• 부드러운 PDE 잔차 정규화 항과 데이터 적합 항을 갖도록 PINNs를 형식화한다.
• 간단한 대류, 반응 및 반응-확산 PDE를 분석하여 실패 체계를 식별한다.
• PDE 정규화 가중치를 높일 때 손실 지형과 최적화가 어떻게 달라지는지 확인한다.
• 모델 용량이 병목이 아니라 소프트 제약 하의 최적화가 병목임을 보여준다.
• PDE 제약을 점진적으로 도입하기 위한 커리큘럼 정규화를 제안한다.
• 전체 시공간이 아니라 시간 구간에서 PDE를 풀기 위해 sequence-to-sequence (seq2seq) 학습을 도입한다.

실험 결과

연구 질문

• RQ1 vanilla PINNs가 대류, 반응, 그리고 반응-확산 역학을 학습하지 못하는 구체적 체계는 무엇인가?
• RQ2 소프트 PDE 정규화 항이 손실 지형과 최적화의 난이도에 어떤 영향을 미치는가?
• RQ3 커리큘럼 기반 또는 시간 구간 학습이 PDE에 대한 PINN 성능을 향상시킬 수 있는가?
• RQ4 이러한 개선이 모델 용량에 의존하는가, 아니면 학습 전략 및 문제 구성에 의존하는가?

주요 결과

• Vanilla PINNs는 비자명한 대류 및 반응 계수에 대해 높은 오차(상대 오차 거의 100%)를 보이며, 일부 경우에는 간단한 해석적 해가 있음에도 불구하고 그렇다.
• PDE 잔차 정규화를 증가시키면 손실 지형이 더 복잡해지고 특히 계수가 클수록 최적화하기 더 어려워진다.
• 신경망 아키텍처는 충분한 표현력을 가지므로, 실패는 용량이 아니라 소프트 PDE 제약 하의 최적화 때문임을 시사한다.
• 커리큘럼 정규화는 정확도를 현저히 향상시켜 대류 및 반응 문제에서 상대 오차/절대 오차를 거의 두 자릿수 차이까지 줄이고 결과의 분산을 감소시킨다.
• 시간 구간에서 PDE를 해결하는 seq2seq 학습은 한 번에 전체 시공간을 학습하는 것보다 더 낮은 오차를 보이며, 반응-확산 문제에서 종종 거의 두 자릿수 차이로 감소시킨다.
• 함께 이 접근법들은 일반 PINN 학습에 비해 최대 1–2 자릿수 차이의 오차 감소를 달성할 수 있다.