[논문 리뷰] Novel Deep neural networks for solving Bayesian statistical inverse

Harbir Antil, Howard C. Elman외 2명|arXiv (Cornell University)|2021. 02. 08.

Model Reduction and Neural Networks참고 문헌 44인용 수 6

한 줄 요약

이 논문은 대규모 PDE에 의해 지배되는 베이지안 역문제를 위한 마르코프 체인 몬테카를로(MCMC) 방법을 가속화하기 위해 분수 차수 딥 네ural 네트워크(fDNN) 서rogate 모델을 제안한다. 연속적인 분수 차수 미분방정식 기반 DNN으로서 PDE 해석 연산자를 모델링함으로써, 비침습적이고 고정밀도의 정방향 해를 가능하게 하여 MCMC 계산 시간을 최대 90% 감소시키면서도 사후 정확도를 유지한다.

ABSTRACT

We consider the simulation of Bayesian statistical inverse problems governed by large-scale linear and nonlinear partial differential equations (PDEs). Markov chain Monte Carlo (MCMC) algorithms are standard techniques to solve such problems. However, MCMC techniques are computationally challenging as they require several thousands of forward PDE solves. The goal of this paper is to introduce a fractional deep neural network based approach for the forward solves within an MCMC routine. Moreover, we discuss some approximation error estimates and illustrate the efficiency of our approach via several numerical examples.

연구 동기 및 목표

• 대규모 PDE에 의해 지배되는 베이지안 역문제에서 MCMC 방법의 높은 계산 비용을 해결하기 위해.
• MCMC 루틴 내에서 비용이 많이 드는 정방향 PDE 해를 대체하는 비침습적 서rogate 모델을 개발하기 위해.
• 비선형 PDE에서의 매개변수-해 연산자에 대한 개선된 근사치를 위해 분수 차수 딥 네ural 네트워크(fDNN)를 활용하기 위해.
• fDNN 기반 서rogate가 계산 시간을 크게 줄이면서도 높은 사후 정확도를 유지하는지 확인하기 위해.

제안 방법

• fDNN는 분수 차수 상미분방정식(FODE)에 의해 지배되는 연속적인 동역학 시스템으로 구성되어 있어 모든 층 간의 연결성과 이전 기울기 및 입력에의 접근이 가능하다.
• 역문제에 대해 라틴 하이퍼큐브 샘플링을 통해 생성된 900개의 매개변수-해 쌍 데이터셋을 기반으로 지도 학습 방식으로 네트워크를 훈련시킨다.
• fDNN는 정방향 PDE 해석 연산자를 근사하여, pCN, ∞-MALA, ∞-HMC와 같은 MCMC 알고리즘 내에서 전체 차수 PDE 해를 대체한다.
• 이 방법은 비침습적이며, 코드 수정 없이 기존의 PDE 솔버를 재사용할 수 있다. 이는 침투형 감소 차수 모델과는 대조된다.
• fDNN 서rogate의 수렴성과 안정성을 정당화하기 위해 근사 오차 추정식을 유도한다.
• fDNN는 MCMC 프레임워크 내에 적용되며, 서rogate를 통해 사후 통계를 계산하여 온라인 계산 비용을 줄인다.

실험 결과

연구 질문

• RQ1 분수 차수 딥 네ural 네트워크는 베이지안 역문제에서 정방향 PDE 해를 위한 정확하고 효율적인 서rogate로 기능할 수 있는가?
• RQ2 fDNN 기반 MCMC 접근법은 전체 차수 PDE 해와 비교해 수용률과 사후 정확도 측면에서 어떻게 다른가?
• RQ3 fDNN는 고차원 역문제의 MCMC 샘플링에서 계산 시간을 얼마나 줄일 수 있는가?
• RQ4 연속적인 분수 차수 ODE 기반 fDNN 아키텍처는 표준 DNN에 비해 일반화 능력과 훈련 안정성에서 어떻게 향상되는가?
• RQ5 낮은 계산 비용에도 불구하고 fDNN 서rogate는 진정한 사후 분포와 통계적으로 일致성을 유지할 수 있는가?

주요 결과

• fDNN 서rogate는 전체 차수 PDE 해와 비교해 MCMC 계산 시간을 약 90% 감소시켰으며, CPU 시간은 pCN 기준 157.8초에서 16.46초로 감소했다.
• fDNN를 사용한 MCMC 방법의 수용률(pCN: 0.67, ∞-MALA: 0.67, ∞-HMC: 0.79)은 전체 차수 PDE를 사용한 경우(pCN: 0.66, ∞-MALA: 0.70, ∞-HMC: 0.75)와 거의 동일하여 통계적 편향이 최소한임을 시사한다.
• fDNN 훈련 및 데이터 생성에 소요된 총 오프라인 비용은 99.7초였으며, 이는 MCMC 시뮬레이션에서의 온라인 절감 효과로 상쇄되었다.
• 100개 매개변수를 가진 역문제에서 fDNN는 진짜 전도도 필드를 높은 정확도로 재구성했으며, 사후 평균 추정치가 기저 진실값과 매우 유사했다.
• 이 방법은 비침습적이며, 코드 수정 없이 기존 PDE 솔버와 직접 통합 가능하다. 이는 침투형 감소 차수 모델과는 다름.
• fDNN의 연속적인 분수 차수 ODE 기반 설계는 아키텍처에 종속되지 않는 최적화와 층 간 개선된 정보 흐름을 가능하게 한다.