[논문 리뷰] A Hierarchical Multilevel Markov Chain Monte Carlo Algorithm with Applications to Uncertainty Quantification in Subsurface Flow

Tim Dodwell, C. Ketelsen외 2명|arXiv (Cornell University)|2013. 03. 29.

Markov Chains and Monte Carlo Methods참고 문헌 21인용 수 10

한 줄 요약

이 논문은 하향식 공간 격자 계층을 활용하여 부하수류의 베이지안 불확실성 정량화에서 계산 비용을 크게 감소시키는 계층적 다수준 메트로폴리스-해스팅스 알고리즘을 제안한다. 서로 다른 수준에서 병렬로 마르코프 체인을 구성하고, 더粗한 수준의 정보를 이용하는 새로운 제안 메커니즘을 도입함으로써, $\varepsilon = 10^{-2}$ 이하의 정밀도에서 표준 MCMC에 비해 비용을 한 계급 이상 감소시켰으며, 수치 결과는 이론적 성과를 확인한다.

ABSTRACT

In this paper we address the problem of the prohibitively large computational cost of existing Markov chain Monte Carlo methods for large--scale applications with high dimensional parameter spaces, e.g. in uncertainty quantification in porous media flow. We propose a new multilevel Metropolis-Hastings algorithm, and give an abstract, problem dependent theorem on the cost of the new multilevel estimator based on a set of simple, verifiable assumptions. For a typical model problem in subsurface flow, we then provide a detailed analysis of these assumptions and show significant gains over the standard Metropolis-Hastings estimator. Numerical experiments confirm the analysis and demonstrate the effectiveness of the method with consistent reductions of more than an order of magnitude in the cost of the multilevel estimator over the standard Metropolis-Hastings algorithm for tolerances $\varepsilon < 10^{-2}$.

연구 동기 및 목표

• 고차원적이고 대규모인 부하수류 문제에서 표준 메트로폴리스-해스팅스 MCMC의 금방이 되는 높은 계산 비용을 해결하기 위해.
• PDE 제약 조건이 있는 베이지안 추론에서 계산 부담을 차지하는 가능도 평가의 비용을 줄이기 위해.
• 정확한 사후 분포에서의 표본 추출을 유지하면서 계산 계층을 활용하는 다수준 MCMC 프레임워크를 개발하기 위해.
• 검증 가능한 가정 하에 다수준 추정기의 계산 비용에 대한 이론적 경계를 설정하고, 이를 수치적으로 검증하기 위해.
• 로그 노말 분포를 가진 계수를 가진 실제적인 다르시 흐름 모델에서 높은 효율성 향상을 보여주기 위해.

제안 방법

• 해당 방법은 유한요소 이산화의 계층을 도입하여, 점점 더 높은 해상도에서 PDE 해를 근사한다.
• 두 개의 병렬 마르코프 체인을 구성한다: 하나는 새로운 제안 분포를 사용하는 가장 세밀한 수준에서, 다른 하나는 표준 메트로폴리스-해스팅스를 사용하는 더粗한 수준에서.
• 핵심 혁신은 더粗운 체인의 정보를 이용해 더 세밀한 수준에서의 제안을 이끌어내는 계층적 제안 메커니즘으로, 비용이 많이 드는 가능도 평가 횟수를 줄인다.
• 지연 수락 방식을 사용하여, 먼저 더粗운 수준의 가능도에 기반해 제안이 수락 또는 기각된 후에야 더 세밀한 수준의 평가를 수행한다.
• 다수준 추정기는 연속된 수준 간의 출력량 차이를 계산하여, 이러한 차이가 낮은 분산과 낮은 계산 비용을 가짐을 이용한다.
• 이론적 분석은 이산화 오차 수렴 속도와 가능도 계산 비용에 대한 가정 하에 비용 경계를 설정한다.

실험 결과

연구 질문

• RQ1 고차원적 부하수류 문제의 베이지안 역문제에서 계산 비용을 줄일 수 있는 다수준 MCMC 프레임워크를 설계할 수 있는가?
• RQ2 더粗운 수준의 표본을 기반으로 한 계층적 제안 방식이 가장 세밀한 수준에서의 고비용 가능도 평가 횟수를 상당히 줄일 수 있는가?
• RQ3 다수준 MCMC 추정기가 표준 MCMC보다 낮은 비용을 달성할 수 있는 이론적 조건은 무엇인가?
• RQ4 이산화 오차 수렴 속도와 가능도 계산 비용의 수렴 속도는 다수준 접근의 효율성 향상에 어떤 영향을 미치는가?
• RQ5 엄밀한 사후 분포에서의 표본 추출을 유지하면서도 상당한 계산 절감을 달성할 수 있는가?

주요 결과

• 다수준 MCMC 추정기는 $\varepsilon < 10^{-2}$ 인 정밀도에서 표준 MCMC에 비해 계산 비용을 한 계급 이상 감소시켰다.
• 일반적인 다르시 흐름 문제에서, 이 방법은 가장 세밀한 수준에서 약 562회의 PDE 해를 구하는 데에 그쳤고, 표준 MCMC는 동일한 오차 정밀도를 확보하기 위해 약 $4 \times 10^6$회의 PDE 해를 구하였다.
• 다수준 차이 추정기의 분산은 $\mathcal{O}(h^2)$ 수준에 가까운 속도로 수렴하여 이론적 가정을 지지한다.
• 다수준 기각 확률은 $\mathcal{O}(h)$보다 略로 더 빠르게 수렴하여, 이론적 경계가 보수적인 경향이 있음을 시사한다.
• 재귀적 독립 표본 추출 전략은 표준 MCMC의 효율성 향상에도 기여하여, 다수준 프레임워크 외부에도 광범위한 적용 가능성을 보여준다.
• 더粗운 수준에서의 더 빠른 혼합 속도와 감소된 자기상관 시간 덕분에, 효과적인 버닝 인 전략을 제공한다.