[논문 리뷰] Characterizing possible failure modes in physics-informed neural networks

Aditi S. Krishnapriyan, Amir Gholami외 3명|arXiv (Cornell University)|2021. 09. 02.

Model Reduction and Neural Networks인용 수 351

한 줄 요약

본 논문은 vanilla 물리 정보를 포함한 신경망(PINN)이 soft PDE 제약으로 인한 최적화 문제 때문에 대류, 반응, 확산 문제에서 비자명한 물리 현상을 포착하지 못할 수 있으며, 커리큘럼 정규화와 seq2seq 학습을 제안하여 성능을 실질적으로 향상시킨다고 보여준다.

ABSTRACT

Recent work in scientific machine learning has developed so-called physics-informed neural network (PINN) models. The typical approach is to incorporate physical domain knowledge as soft constraints on an empirical loss function and use existing machine learning methodologies to train the model. We demonstrate that, while existing PINN methodologies can learn good models for relatively trivial problems, they can easily fail to learn relevant physical phenomena for even slightly more complex problems. In particular, we analyze several distinct situations of widespread physical interest, including learning differential equations with convection, reaction, and diffusion operators. We provide evidence that the soft regularization in PINNs, which involves PDE-based differential operators, can introduce a number of subtle problems, including making the problem more ill-conditioned. Importantly, we show that these possible failure modes are not due to the lack of expressivity in the NN architecture, but that the PINN's setup makes the loss landscape very hard to optimize. We then describe two promising solutions to address these failure modes. The first approach is to use curriculum regularization, where the PINN's loss term starts from a simple PDE regularization, and becomes progressively more complex as the NN gets trained. The second approach is to pose the problem as a sequence-to-sequence learning task, rather than learning to predict the entire space-time at once. Extensive testing shows that we can achieve up to 1-2 orders of magnitude lower error with these methods as compared to regular PINN training.

연구 동기 및 목표

• 대류, 반응, 및 반응-확산 문제에서 비자명한 PDE 계수를 가진 문제에 대해 PINN의 성능을 평가한다.
• soft PDE 제약이 PINN의 최적화와 조건화에 미치는 영향을 파악한다.
• PINN 표현력이 한계인지 아니면 최적화 지형이 실패의 원인인지 판단한다.
• PINN 학습과 정확도 향상을 위한 완화 전략을 제안하고 평가한다.
• 재현성과 확장을 돕기 위해 구현을 오픈 소스화한다.

제안 방법

• 소프트 PDE 잔여를 데이터 손실 및 경계 조건과 함께 손실 항으로 형식화하여 PINN 학습을 수행한다.
• 해석적 최적화 난이도를 확인하기 위해 해시안 고윳값 벡터를 섭동하여 손실 지형을 분석한다.
• 두 가지 완화 전략을 평가한다: PDE 제약 강도를 점진적으로 증가시키는 커리큘럼 정규화와 더 짧은 시간 구간에 걸쳐 해를 예측하는 시퀀스-투-시퀀스(seq2seq) 학습.
• 대류, 반응, 반응-확산 설정에서 vanilla PINN, 커리큘럼 PINN, seq2seq PINN을 비교한다.
• L-BFGS 최적화와 tanh 활성화가 있는 4-layer, layer당 50개 뉴런의 네트워크와 주기적 도메인에서의 구성(collocation points)을 사용한다.

실험 결과

연구 질문

• RQ1 vanilla PINN 학습이 비자명한 계수를 가진 대류, 반응, 반응-확산 PDE의 해를 정확히 학습하는가?
• RQ2 soft PDE 정규화가 PINN의 손실 지형과 최적화에 어떤 영향을 미치는가?
• RQ3 관측된 실패가 네트워크 용량의 부족 때문인지 아니면 최적화 문제 때문인지?
• RQ4 커리큘럼 정규화와 seq2seq 학습이 PINN의 성능과 안정성을 향상시키는가?
• RQ5 이 접근법들이 표준 PINN보다 더 선명하거나 확산된 특징을 포착할 수 있는가?

주요 결과

• PINN은 매우 작은 PDE 계수에서만 양호한 해를 얻고, 중간 정도의 도전적 규칙에서는 실패한다.
• 소프트 PDE 정규화를 증가시키면 손실 지형이 더 복잡해지고 최적화하기가 더 어려워지며, 특히 계수가 높을 때 그렇다.
• 네트워크 용량이 주요 병목은 아니며, PDE 기반 제약이 있는 최적화가 핵심 문제이다.
• 커리큘럼 정규화는 오차와 손실 지형의 매끄러움을 크게 개선하여 때로는 두 자릿수 차이로 감소한다.
• seq2seq 학습(시간 순환)은 전체 시공간을 한 번에 예측하는 것에 비해 반응 및 반응-확산 문제의 오차를 최대 두 자릿수에 가깝게 감소시킨다.
• 오픈 소스 구현은 재현성과 확장 기회를 제공한다.