[논문 리뷰] Multi-variance replica exchange stochastic gradient MCMC for inverse and forward Bayesian physics-informed neural network

Guang Lin, Yating Wang외 1명|arXiv (Cornell University)|2021. 07. 13.

Model Reduction and Neural Networks참고 문헌 35인용 수 6

한 줄 요약

이 논문은 다중 분산 복제 교환 스토하스틱 그래디언트 랑주비안 동역학(m-reSGLD) 방법을 제안하여 베이지안 물리학 기반 신경망(PINNs)에서 다중모달 사후분포를 가진 역문제 및 정문제에서 효율적인 샘플링을 가능하게 한다. 고온도 체인에서는 저해상도 해석기, 저온도 체인에서는 고해상도 해석기를 사용함으로써 계산 비용을 줄이고 정확도를 유지하면서도 SGLD 및 일반적인 복제 교환 방법보다 더 빠른 수렴을 달성한다.

ABSTRACT

Physics-informed neural network (PINN) has been successfully applied in solving a variety of nonlinear non-convex forward and inverse problems. However, the training is challenging because of the non-convex loss functions and the multiple optima in the Bayesian inverse problem. In this work, we propose a multi-variance replica exchange stochastic gradient Langevin diffusion method to tackle the challenge of the multiple local optima in the optimization and the challenge of the multiple modal posterior distribution in the inverse problem. Replica exchange methods are capable of escaping from the local traps and accelerating the convergence. However, it may not be efficient to solve mathematical inversion problems by using the vanilla replica method directly since the method doubles the computational cost in evaluating the forward solvers (likelihood functions) in the two chains. To address this issue, we propose to make different assumptions on the energy function estimation and this facilities one to use solvers of different fidelities in the likelihood function evaluation. We give an unbiased estimate of the swapping rate and give an estimation of the discretization error of the scheme. To verify our idea, we design and solve four inverse problems which have multiple modes. The proposed method is also employed to train the Bayesian PINN to solve the forward and inverse problems; faster and more accurate convergence has been observed when compared to the stochastic gradient Langevin diffusion (SGLD) method and vanila replica exchange methods.

연구 동기 및 목표

• 물리학 기반 신경망을 포함한 베이지안 역문제에서 다중 국소 최적해 및 다중모달 사후분포의 과제를 해결한다.
• 두 체인 모두 동일한 고해상도 해석기를 요구하는 전통적인 복제 교환 MCMC 방법의 높은 계산 비용을 줄인다.
• 다른 해상도의 해석기를 체인 간에 활용함으로써 효율적인 샘플링을 가능하게 한다—고온도 체인에는 저해상도 해석기, 저온도 체인에는 고해상도 해석기를 사용한다.
• 편향 없는 교환 비율 추정 및 제안된 방법의 이산화 오차 추정을 보장한다.
• 복잡하고 비정규 분포를 가진 사후분포를 가진 정문제 및 역문제를 해결하는 데 있어 뛰어난 성능을 입증한다.

제안 방법

• 다른 온도를 가진 두 개의 체인을 사용하는 다중 분산 복제 교환 스토하스틱 그래디언트 랑주비안 확산(m-reSGLD) 프레임워크를 제안한다: 저온도 체인은 국소 수렴에, 고온도 체인은 전역 탐색에 사용된다.
• 다중 해상도 에너지 추정 전략을 도입한다: 고온도 체인에서는 해상도가 낮은 해석기를, 저온도 체인에서는 해상도가 높은 해석기를 사용하여 계산 비용을 절감한다.
• 체인 간의 교환 비율에 대한 편향 없는 추정기를 설계하여 상세 균형을 유지하고 정확한 샘플링 분포를 확보한다.
• m-reSGLD 방법의 이산화 오차 경계를 제공하여 이론적 수렴 보장을 보장한다.
• 정문제 및 역문제 모두에 대해 베이지안 PINN 훈련에 이 방법을 통합하여 불확실성 정량화 및 강력한 매개변수 추론을 가능하게 한다.
• 미니배치를 사용한 스토하스틱 그래디언트 근사 기법을 활용하여 대규모 데이터셋 및 복잡한 모델에 스케일링할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 고온도 체인과 저온도 체인에서 서로 다른 해상도의 해석기를 사용하는 복제 교환 MCMC 방법이, 베이지안 역문제에서 계산 비용을 절감하면서도 샘플링 정확도를 유지할 수 있는가?
• RQ2 고온도 체인에서 저해상도 해석기를 사용할 경우, 두 체인 모두 고해상도 해석기를 사용하는 것과 비교해 사후분포 샘플링의 수렴 속도와 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 m-reSGLD 방법이 물리학 기반 학습에서 흔한 비凸, 비정규 분포를 가진 역문제에서 다중모달 사후분포를 효과적으로 탐색할 수 있는가?
• RQ4 제안된 편향 없는 교환 비율 추정기의 성능이 사후분포 샘플의 편향과 분산에 어떤 영향을 미치는가?
• RQ5 정문제 및 역문제 PINN 해법에서 m-reSGLD는 표준 SGLD 및 일반적인 복제 교환 SGLD와 비교해 성능과 수렴 속도에서 어떻게 뛰어나게 되는가?

주요 결과

• 비선형 역문제에서 m-reSGLD 방법은 버너인 후 상대 오차가 0.0796을 기록하여 저온도 SGLD의 0.0991 및 고온도 SGLD의 0.1566보다 유의미하게 낮게 나타났다.
• 상대 오차의 분산은 m-reSGLD에서 최소화되어 8.962e-5를 기록하였으며, 이는 두 SGLD 변종보다 더 안정적인 수렴을 의미한다.
• 역매개변수 α의 평균 추정치는 0.668이며 분산은 0.0017으로 진짜 값 0.7에 가깝게 나타나 정확한 사후 추론을 보여주었다.
• 그림 10의 신뢰구간과 해석 예측을 통해 다중 모드를 가진 전체 사후분포를 잘 포착한 것으로 확인되었다.
• 공간 영역 전반에서 최대 분산은 0.0737, 평균은 0.0307이었으며, 예측 해석의 신뢰성 있는 불확실성 정량화를 보여주었다.
• m-reSGLD 방법은 SGLD 및 일반적인 복제 교환 방법보다 더 빠른 수렴과 더 낮은 오차를 달성하여 정문제 및 역문제 PINN 작업에서의 효율성과 정확성을 입증하였다.