[논문 리뷰] Sparse MCMC gpc Finite Element Methods for Bayesian Inverse Problems

Viêt Hà Hòang, Christoph Schwab외 1명|arXiv (Cornell University)|2012. 07. 10.

Markov Chains and Monte Carlo Methods인용 수 3

한 줄 요약

이 논문은 타원형 PDE의 미지수 계수를 가진 베이지안 역문제에서 계산 복잡도를 줄이기 위해 희소 일반화 다항 chaos (gpc) 및 다수준 MCMC (MLMCMC) 방법을 제안한다. 희소 gpc 대체 모델과 다중 수준 샘플링을 조합함으로써, 계수와 근사 방법의 정규성 조건 하에서 기존 MCMC에 비해 복잡도를 크게 감소시킨다. 이는 점 渐진적 작업-정확도 경계를 달성한다.

ABSTRACT

We study Bayesian inversion for a model elliptic PDE with unknown diffusion coefficient. We provide complexity analyses of several Markov Chain-Monte Carlo (MCMC) methods for the efficient numerical evaluation of expectations under the Bayesian posterior distribution, given data $\delta$. Particular attention is given to bounds on the overall work required to achieve a prescribed error level $\varepsilon$. Specifically, we first bound the computational complexity of plain MCMC, based on combining MCMC sampling with linear complexity multilevel solvers for elliptic PDE. Our (new) work versus accuracy bounds show that the complexity of this approach can be quite prohibitive. Two strategies for reducing the computational complexity are then proposed and analyzed: first, a sparse, parametric and deterministic generalized polynomial chaos (gpc) surrogate representation of the forward response map of the PDE over the entire parameter space, and, second, a novel Multi-Level Markov Chain Monte Carlo (MLMCMC) strategy which utilizes sampling from a multilevel discretization of the posterior and of the forward PDE. For both of these strategies we derive asymptotic bounds on work versus accuracy, and hence asymptotic bounds on the computational complexity of the algorithms. In particular we provide sufficient conditions on the regularity of the unknown coefficients of the PDE, and on the approximation methods used, in order for the accelerations of MCMC resulting from these strategies to lead to complexity reductions over plain MCMC algorithms for Bayesian inversion of PDEs.}

연구 동기 및 목표

• 타원형 PDE의 확률적 확산 계수를 가진 베이지안 역문제에서 표준 MCMC 방법의 높은 계산 비용을 줄이기 위해.
• 선형 복잡도를 가진 다수준 해법을 사용할 때 일반 MCMC의 계산 복잡도를 분석하기 위해.
• MCMC 복잡도를 줄이기 위한 두 가지 전략—희소 gpc 대체 모델링 및 MLMCMC—을 개발하고 분석하기 위해.
• 제안된 방법의 작업 대 정확도에 대한 점 渐진적 경계를 유도하여, 복잡도 감소 조건을 설정하기 위해.
• 일반 MCMC에 비해 복잡도 감소를 가능하게 하는 충분한 정규성 및 근사 조건을 규명하기 위해.

제안 방법

• 전체 매개변수 공간에서의 정방 PDE 응답 맵을 나타내기 위해 희소, 매개변수화, 결정론적 일반화 다항 chaos (gpc) 대체 모델을 구축하기 위해.
• gpc 대체 모델을 사용하여 반복적인 PDE 해를 다항식 전개의 빠른 평가로 대체함으로써 MCMC 샘플링을 가속화하기 위해.
• 후행 분포 및 정방 PDE의 양자화된 다중 수준 이산화 기반으로 새로운 다수준 마르코프 체인 몬테카를로 (MLMCMC) 전략을 개발하기 위해.
• MLMCMC를 gpc 대체 모델과 조합하여 샘플링 비용을 추가로 감소시키면서 정확도를 유지하기 위해.
• 계수의 정규성 분석 및 근사 오차 제어를 통한 두 방법의 점 渐진적 작업-정확도 경계를 유도하기 위해.
• 일반 MCMC에 비해 복잡도 감소를 보장하기 위한 계수 정규성 및 근사 방법에 대한 충분한 조건을 설정하기 위해.

실험 결과

연구 질문

• RQ1 확률적 계수를 가진 타원형 PDE에 대해 표준 MCMC를 적용했을 때의 계산 복잡도는 어떻게 되는가?
• RQ2 희소 일반화 다항 chaos (gpc) 대체 모델은 베이지안 역 PDE에서 MCMC의 계산 부담을 줄일 수 있는가?
• RQ3 계층적 PDE 이산화 기반의 다수준 MCMC 전략은 작업-정확도 스케일링을 향상시키는가?
• RQ4 제안된 방법이 일반 MCMC에 비해 복잡도 감소를 달성하기 위한 정규성 및 근사 조건은 무엇인가?
• RQ5 베이지안 역 문제에서 gpc-MLMCMC 통합 접근법의 점 渐진적 작업-정확도 경계는 무엇인가?

주요 결과

• 다수준 PDE 해법을 사용하는 일반 MCMC의 계산 복잡도는 실용적 사용에 비해 금방이 높게 나타남을 입증함.
• 제안된 희소 gpc 대체 모델 방법은 반복적인 PDE 해를 다항식 평가의 빠른 평가로 대체함으로써 MCMC 복잡도를 감소시킴.
• MLMCMC 전략은 다중 수준 이산화를 활용하여 MCMC 추정기의 분산을 감소시킴으로써 복잡도 감소를 달성함.
• gpc-MLMCMC를 통합한 방법은 계수와 근사 방법의 충분한 정규성 조건 하에서 일반 MCMC보다 더 유리한 점 渐진적 작업-정확도 경계를 확보함.
• 일반 MCMC에 비해 복잡도 감소를 보장하기 위한 계수 정규성 및 근사 정확도에 대한 충분한 조건이 도출됨.
• 두 제안된 방법의 작업-정확도 경계는 이러한 정규성 및 근사 조건 하에서 실용적으로 복잡도 감소가 달성될 수 있음을 시사함.