[논문 리뷰] Higher order Quasi-Monte Carlo integration for Bayesian Estimation

Josef Dick, Robert N. Gantner외 2명|arXiv (Cornell University)|2016. 02. 24.

Probabilistic and Robust Engineering Design참고 문헌 34인용 수 18

한 줄 요약

이 논문은 불확실한 입력에 대해 해석적 종속성을 가지는 무한차원 매개변수 연산자 방정식에서 베이지안 추정을 위한 고차수 준몬테카를로(HoQMC) 방법을 제안한다. SPOD 가중치를 부여한 함수 공간과 교차된 다항식 격자 규칙을 활용하여, p < 1 인 경우 O(N^{-1/p}) 의 차원에 독립적인 수렴 속도를 달성함으로써, 최대 10^4개의 매개변수를 가진 효율적이고 결정론적인 베이지안 추론을 가능하게 한다.

ABSTRACT

We analyze combined Quasi-Monte Carlo quadrature and Finite Element approximations in Bayesian estimation of solutions to countably-parametric operator equations with holomorphic dependence on the parameters as considered in [Cl.~Schillings and Ch.~Schwab: Sparsity in Bayesian Inversion of Parametric Operator Equations. Inverse Problems, {\bf 30}, (2014)]. Such problems arise in numerical uncertainty quantification and in Bayesian inversion of operator equations with distributed uncertain inputs, such as uncertain coefficients, uncertain domains or uncertain source terms and boundary data. We show that the parametric Bayesian posterior densities belong to a class of weighted Bochner spaces of functions of countably many variables, with a particular structure of the QMC quadrature weights: up to a (problem-dependent, and possibly large) finite dimension $S$ product weights can be used, and beyond this dimension, weighted spaces with so-called SPOD weights are used to describe the solution regularity. We establish error bounds for higher order Quasi-Monte Carlo quadrature for the Bayesian estimation based on [J.~Dick, Q.T.~LeGia and Ch.~Schwab, Higher order Quasi-Monte Carlo integration for holomorphic, parametric operator equations, Report 2014-23, SAM, ETH Zürich]. It implies, in particular, regularity of the parametric solution and of the countably-parametric Bayesian posterior density in SPOD weighted spaces. This, in turn, implies that the Quasi-Monte Carlo quadrature methods in [J. Dick, F.Y.~Kuo, Q.T.~Le Gia, D.~Nuyens, Ch.~Schwab, Higher order QMC Galerkin discretization for parametric operator equations, SINUM (2014)] are applicable to these problem classes, with dimension-independent convergence rates $\calO(N^{-1/p})$ of $N$-point HoQMC approximated Bayesian estimates, where $0

연구 동기 및 목표

• 분포된 불확실한 입력을 가진 매개변수 연산자 방정식에서 고차원 베이지안 추론의 계산적 과제를 해결한다.
• 무한차원 문제에 대해 확장 가능한 수렴 속도를 달성하는 데에 표준 몬테카를로 및 저차수 QMC 방법의 한계를 극복한다.
• 매개변수 차원에 독립적인 증명 가능 수렴 속도를 가진 효율적이고 결정론적인 베이지안 추정을 가능하게 한다.
• SPOD 가중치를 부여한 함수 공간에서 매개변수 해와 사후 정규성의 이론적 프레임워크를 수립한다.
• 매개변수 불확실성의 매개변수화, 유한요소 이산화, HoQMC 통합을 결합한 실용적인 계산 파ip라인을 개발한다.

제안 방법

• 무한차원 불확실한 입력을 가산 기저를 사용해 매개변수화하여 문제를 가산적 매개변수를 가진 결정론적 설정으로 환원한다.
• 매개변수 공간을 유한차원 부분공간(차원 s)으로 제한하기 위해 차원 절단을 적용한다.
• Petrov-Galerkin 유한요소 방법을 사용해 매개변수 연산자 방정식을 이산화하고 정방향 해를 근사한다.
• 베이지안 사후 밀도를 유한 절단 차원 S 이상에서 SPOD 가중치를 부여한 가중치 브로흐너 공간에서 해석적 함수로 모델링한다.
• 빠른 성분별( CBC ) 알고리즘을 통해 교차된 다항식 격자 규칙을 구성하여 효율적이고 고차수 QMC 통합을 가능하게 한다.
• 이산화, 절단, QMC 통합 오차를 분리한 복합 오차 한계를 유도하여, s에 독립적인 O(N^{-1/p}) 수렴 속도를 보장한다.

실험 결과

연구 질문

• RQ1 고차수 준몬테카를로 방법은 무한차원 매개변수 PDE의 베이지안 추정에서 차원에 독립적인 수렴을 달성할 수 있는가?
• RQ2 고차수 QMC 수렴을 가능하게 하기 위해 매개변수 해와 사후 밀도에 요구되는 함수 공간 정규성은 무엇인가?
• RQ3 고차원 매개변수 공간에서 사후의 정규성을 기술하는 데에 SPOD 가중치는 어떻게 효과적으로 사용될 수 있는가?
• RQ4 다양한 매개변수 기저 선택(예: 카르누엔-로프 계열 vs. 지시 함수)이 QMC 수렴과 계산 비용에 어떤 영향을 미치는가?
• RQ5 빠른 CBC 알고리즘을 통한 격자 규칙 구축은 최대 10^4개의 매개변수를 가진 문제에 대해 HoQMC를 실현 가능하게 하는가?

주요 결과

• 매개변수 해와 베이지안 사후 밀도는 유한 차원 S 이상에서 SPOD 가중치를 부여한 가중치 브로흐너 공간의 클래스에 속하며, 이는 고차수 QMC 수렴을 가능하게 한다.
• 해석적 종속성 조건 하에서, 고차수 준몬테카를로 통합은 p < 1 인 경우 O(N^{-1/p}) 의 수렴 속도를 달성하며, 이는 매개변수 차원 s에 독립적이다.
• 카르누엔-로프 기저의 예시에서 QMC 수렴 속도는 O(N^{-1.5}) 로 관측되었으며, 이는 p ≈ 1.5 인 이론적 O(N^{-1/p}) 경계와 일치한다.
• P2 유한요소를 사용한 지시 함수 기저의 예시에서는 QMC 수렴 속도가 O(N^{-2}) 로 나타나 고차수 규칙에 대한 이론적 예측과 일치한다.
• 지시 함수 케이스에서의 곱 가중치 사용은 선형 시간 CBC 구축을 가능하게 하여 계산 비용을 O(s^2) 에서 O(s) 로 감소시켰으며, s = 8192 에까지 확장 가능성을 확보했다.
• 카르누엔-로프 케이스에서는 이산화 오차가 총 오차를 지배하였고, 정확한 유한요소 해를 가진 지시 함수 케이스에서는 QMC 오차가 주요 기여 요소였으며, 이는 복합 오차 한계의 날카로움을 검증한다.