[논문 리뷰] A deep surrogate approach to efficient Bayesian inversion in PDE and integral equation models

Teo Deveney, Eike H. Müller외 1명|arXiv (Cornell University)|2019. 10. 03.

Probabilistic and Robust Engineering Design참고 문헌 32인용 수 7

한 줄 요약

이 논문은 신경망을 사용하여 편미분방정식(PDE)과 적분방정식의 매개변수 해를 직접 근사하는 딥러닝 기반의 서rogate 모델을 소개한다. 이는 마르코프 체인 몬테카를로(MCMC)를 통한 효율적인 베이지안 역문제 해결을 가능하게 한다. 이 방법은 기존의 유한차분 MCMC에 비해 수개의 주기수의 속도 향상을 달성하면서도 정확도를 유지하며, 특히 고차원 매개변수 공간에서 고전적 방법이 차원의 극복 문제로 실패하는 상황에서도 유의미하다.

ABSTRACT

We investigate a deep learning approach to efficiently perform Bayesian inference in partial differential equation (PDE) and integral equation models over potentially high-dimensional parameter spaces. The contributions of this paper are two-fold; the first is the introduction of a neural network approach to approximating the solutions of Fredholm and Volterra integral equations of the first and second kind. The second is the development of a new, efficient deep learning-based method for Bayesian inversion applied to problems that can be described by PDEs or integral equations. To achieve this we introduce a surrogate model, and demonstrate how this allows efficient sampling from a Bayesian posterior distribution in which the likelihood depends on the solutions of PDEs or integral equations. Our method relies on the direct approximation of parametric solutions by neural networks, without need of traditional numerical solves. This deep learning approach allows the accurate and efficient approximation of parametric solutions in significantly higher dimensions than is possible using classical discretisation schemes. Since the approximated solutions can be cheaply evaluated, the solutions of Bayesian inverse problems over large parameter spaces are efficient using Markov chain Monte Carlo. We demonstrate the performance of our method using two real-world examples; these include Bayesian inference in the PDE and integral equation case for an example from electrochemistry, and Bayesian inference of a function-valued heat-transfer parameter with applications in aviation.

연구 동기 및 목표

• 고차원 매개변수 공간에서 매개변수 PDE와 적분방정식을 효율적으로 해결하는 딥러닝 기반의 접근법을 개발하는 것.
• 기존 수치해를 반복적으로 계산하지 않고도, 미분 가능하고 해석적인 서rogate 모델을 구축하여 효율적인 베이지안 추론을 가능하게 하는 것.
• 기존 방법으로는 반복적인 정방 문제 해결이 계산적으로 비현실적이기 때문에 고차원 매개변수 공간에서의 베이지안 역문제에 발생하는 차원의 극복 문제를 극복하는 것.
• 표준 딥러닝 최소화 방법이 신뢰도 추정이 없음에도 불구하고, 부정확한 역문제에서 정확한 불확실성 정량화와 정규화를 제공하는 것.
• 딥러닝 기반의 해법을 PDE에서 적분방정식으로 확장하여, 제1종과 제2종의 프레드홀름 및 볼테라 유형을 포함하는 것.

제안 방법

• 이중 신경망 아키텍처를 사용한다: 하나는 적분방정식의 해를 근사하고, 다른 하나는 적분 항을 근사하며, 둘 다 동시에 훈련된다.
• 방정식 잔차 오차, 데이터 적합도, 경계/초기 조건 강제 조건을 포함하는 복합 손실 함수를 최소화한다.
• 서rogate 모델은 전체 매개변수 공간에서 훈련되어, 재해석 없이도 임의의 매개변수 값에 대해 해를 직접 평가할 수 있다.
• 훈련된 서rogate는 MCMC 샘플링에서 빠르고, 미분 가능한 정방 모델로 사용되어 베이지안 사후 추론을 수행한다.
• 작은 배치를 사용한 확률적 경사 하강법을 통해 네트워크 가중치와 손실 함수 내 다항식 계수를 최적화한다.
• 매개변수 공간을 샘플링 도메인에 통합하여 PDE로의 확장을 도모하고, 딥 서rogate를 통한 매개변수 해 근사가 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크를 사용하여 전통적인 적분 또는 콜로케이션에 의존하지 않고도 프레드홀름 및 볼테라 유형의 적분방정식의 매개변수 해를 직접 근사할 수 있는가?
• RQ2 PDE와 적분방정식을 위한 딥 서rogate 모델이 고차원 매개변수 공간에서 베이지안 역문제의 MCMC 샘플링을 효율적으로 가능하게 할 수 있는가?
• RQ3 딥 서rogate MCMC 접근법의 정확도와 계산 효율성이 고차원 설정에서 기존의 유한차분 MCMC에 비해 어떻게 비교되는가?
• RQ4 표준 딥러닝 최소화 방법과 비교하여 서rogate 모델이 부정확한 역문제에서 신뢰할 수 있는 불확실성 정량화를 제공하는 정도는 어느 정도인가?
• RQ5 서rogate 모델이 제어 방정식과 경계 조건을 직접 만족하도록 훈련될 수 있는가? 이는 보간 기반 서rogate보다 더 정확한 해를 도출하는가?

주요 결과

• 딥 서rogate 모델은 기존의 유한차분 MCMC에 비해 수개의 주기수의 샘플링 가속을 달성하면서도 동일한 정확도를 유지한다.
• 이 방법은 PDE 기반 및 적분방정식 기반의 베이지안 역문제를 성공적으로 해결하며, 실제 전기화학 예제와 항공 분야의 함수값 열전도성 매개변수를 포함한다.
• 서rogate 모델은 표준 딥러닝이 신뢰도 추정이 없음에도 불구하고, 베이지안 사후 샘플링을 통한 정확한 불확실성 정량화를 제공한다.
• 신경망 기반의 적분방정식 해법은 정확하고 강건하며, 테스트 벤치마크에서 전통적인 적분 기반 솔버보다 뛰어난 성능을 보인다.
• 서rogate 모델은 미분 가능하고 해석 가능하므로, 기울기 기반 MCMC 샘플러와 통합되고, 향후 전용 전이 커널 개발에도 기여할 수 있다.
• 이 방법은 차원의 극복 문제를 극복하여, 고전적 방법이 실패하는 매개변수 공간에서 베이지안 역문제를 해결할 수 있도록 한다.