[논문 리뷰] Bayesian neural networks for weak solution of PDEs with uncertainty quantification

Xiaoxuan Zhang, Krishna Garikipati|arXiv (Cornell University)|2021. 01. 13.

Model Reduction and Neural Networks참고 문헌 64인용 수 17

한 줄 요약

이 논문은 부분 미분 방정식(PDE)을 약한 형태 이산화를 통해 벡터화되고 컨볼루션 연산자 기반으로 구현된 물리 제약을 가한 베이지안 신경망(BNN) 프레임워크를 제안한다. 이산 잔차에서 유도된 손실 함수와 결정론적 및 베이지안 레이어를 갖춘 인코더-디코더 아키텍처를 활용함으로써, 고성능 PDE 해법과 함께 불확실성 정량화(지식 기반 및 데이터 기반 불확실성 모두 포함)를 가능하게 하며, 훈련 중에 볼 수 없었던 경계 조건과 기하 구조로의 일반화도 가능하다.

ABSTRACT

Solving partial differential equations (PDEs) is the canonical approach for understanding the behavior of physical systems. However, large scale solutions of PDEs using state of the art discretization techniques remains an expensive proposition. In this work, a new physics-constrained neural network (NN) approach is proposed to solve PDEs without labels, with a view to enabling high-throughput solutions in support of design and decision-making. Distinct from existing physics-informed NN approaches, where the strong form or weak form of PDEs are used to construct the loss function, we write the loss function of NNs based on the discretized residual of PDEs through an efficient, convolutional operator-based, and vectorized implementation. We explore an encoder-decoder NN structure for both deterministic and probabilistic models, with Bayesian NNs (BNNs) for the latter, which allow us to quantify both epistemic uncertainty from model parameters and aleatoric uncertainty from noise in the data. For BNNs, the discretized residual is used to construct the likelihood function. In our approach, both deterministic and probabilistic convolutional layers are used to learn the applied boundary conditions (BCs) and to detect the problem domain. As both Dirichlet and Neumann BCs are specified as inputs to NNs, a single NN can solve for similar physics, but with different BCs and on a number of problem domains. The trained surrogate PDE solvers can also make interpolating and extrapolating (to a certain extent) predictions for BCs that they were not exposed to during training. Such surrogate models are of particular importance for problems, where similar types of PDEs need to be repeatedly solved for many times with slight variations. We demonstrate the capability and performance of the proposed framework by applying it to steady-state diffusion, linear elasticity, and nonlinear elasticity.

연구 동기 및 목표

• 기존의 유한요소법(FEM)에 비해 반복 시뮬레이션에서 계산 비용을 줄이는 고성능 대체 PDE 솔버를 개발한다.
• 물리 인식 학습과 함께 베이지안 신경망(BNN)을 통합하여 PDE 해법의 불확실성 정량화를 가능하게 한다.
• 효율적인 컨볼루션 연산을 사용하여 이산화된 약한 형태 잔차 기반의 손실 함수를 설정함으로써 강한 형태 제약을 피한다.
• 재훈련 없이도 하나의 신경망으로 새로운 경계 조건과 문제 영역으로의 일반화를 가능하게 한다.
• 빠르고 신뢰할 수 있으며 불확실성 인식이 가능한 PDE 해법을 통해 엔지니어링 및 재료 과학 분야의 설계 및 의사결정 지원을 가능하게 한다.

제안 방법

• 손실 함수의 핵심은 유한요소 조립 원리에서 유도된 PDE의 이산화된 약한 형태 잔차이다.
• 컨볼루션 연산자 기반의 벡터화 구현을 통해 2차원 컨볼루션 커널을 사용해 국소 노드 값의 추출을 통해 모든 요소에서 잔차를 계산한다.
• 각 가우스 점에서 B-행렬과 가중치 적분을 사용해 잔차를 계산하고, 합산을 통해 전역 잔차로 감소시킨다.
• 디리클레 및 뉴먼 경계 조건은 입력 텐서로 인코딩되어 마스킹 및 재할당을 통해 솔루션 행렬에 직접 강제 적용된다.
• 인코더-디코더 신경망 아키텍처를 사용하며, 결정론적 레이어는 결정론적 해법을 위해, 베이지안 레이어는 불확실성 정량화를 위해 사용된다.
• BNN의 경우, 이산화 잔차에서 유도된 가능도 함수를 구성함으로써 네트워크 가중치에 대한 사후 추론과 불확실성 전파가 가능해진다.

실험 결과

연구 질문

• RQ1 약한 형태의 PDE에 기반한 물리 제약을 가한 신경망이 다양한 경계 조건과 기하 구조에서 높은 정확도와 일반화 성능을 달성할 수 있는가?
• RQ2 라벨이 없는 데이터로도 베이지안 신경망이 PDE 해법에서 지식 기반 불확실성과 데이터 기반 불확실성을 효과적으로 정량화할 수 있는가?
• RQ3 한 번 훈련된 신경망이 훈련 중에 볼 수 없었던 새로운 경계 조건과 문제 영역으로의 내삽 또는 외삽을 어느 정도 수행할 수 있는가?
• RQ4 기존의 FEM 또는 강한 형태의 PINN에 비해 이산화 잔차의 벡터화된 컨볼루션 구현 방식은 효율성과 정확도 면에서 어떻게 비교되는가?
• RQ5 비선형 탄성 및 확산 방정식과 같은 비선형 PDE로도 이 프레임워크를 일반화할 수 있는가?

주요 결과

• 제안된 방법은 단지 약한 형태 잔차만을 손실 함수로 사용하여 정적 확산, 선형 탄성, 비선형 탄성 문제에서 정확한 해법을 달성한다.
• 훈련 중에 볼 수 없었던 새로운 경계 조건과 문제 영역으로의 일반화가 가능하여 강력한 외삽 능력을 입증한다.
• 베이지안 신경망 변형은 PDE 해법에서 모델 가중치에서 기인하는 지식 기반 불확실성과 데이터 노이즈에서 기인하는 데이터 기반 불확실성을 모두 성공적으로 정량화한다.
• 벡터화된 컨볼루션 구현은 명시적 루프 없이 모든 요소에서 잔차를 효율적으로 계산할 수 있으며, 기존 FEM 조립과 정확도가 유사하다.
• 단일 서rogate 모델을 훈련시켜 새로운 설정에 빠르게 적용할 수 있기 때문에 고성능 PDE 해법을 지원한다.
• 복잡한 기하 구조와 비선형 재료 거동에서도 높은 정확도를 유지하며, 탄성 및 확산 분야의 기준 문제에서 이를 입증했다.