[논문 리뷰] Multilevel Dimension-Independent Likelihood-Informed MCMC for Large-Scale Inverse Problems

Tiangang Cui, Gianluca Detommaso외 1명|arXiv (Cornell University)|2019. 10. 28.

Model Reduction and Neural Networks참고 문헌 32인용 수 6

한 줄 요약

이 논문은 대규모 역문제에서 베이지안 추론을 가속화하기 위해 가능도-정보 하위공간(LIS)과 다중수준 몬테카를로를 통합한 다중수준 차원 독립 가능도-정보 MCMC(ML-DILI) 방법을 제안한다. 레이일리-리츠 절차를 사용해 계층적인 LIS를 반복적으로 구축하고, 전진 해법에서 유도된 코レス키 분해를 재사용함으로써 LIS 구축 및 DILI 제안 작업에 대한 계산 비용을 크게 감소시켜, 단일 수준 DILI-MCMC에 비해 CPU 시간 단위 당 샘플링 효율성이 크게 향상되고 통합 오차가 감소함을 보여준다.

ABSTRACT

We present a non-trivial integration of dimension-independent likelihood-informed (DILI) MCMC (Cui, Law, Marzouk, 2016) and the multilevel MCMC (Dodwell et al., 2015) to explore the hierarchy of posterior distributions. This integration offers several advantages: First, DILI-MCMC employs an intrinsic likelihood-informed subspace (LIS) (Cui et al., 2014) -- which involves a number of forward and adjoint model simulations -- to design accelerated operator-weighted proposals. By exploiting the multilevel structure of the discretised parameters and discretised forward models, we design a Rayleigh-Ritz procedure to significantly reduce the computational effort in building the LIS and operating with DILI proposals. Second, the resulting DILI-MCMC can drastically improve the sampling efficiency of MCMC at each level, and hence reduce the integration error of the multilevel algorithm for fixed CPU time. Numerical results confirm the improved computational efficiency of the multilevel DILI approach.

연구 동기 및 목표

• 대규모 역문제에서 고차원 사후 분포의 샘플링에 소요되는 높은 계산 비용을 해결하기 위해.
• 다중수준 몬테카를로 프레임워크와 통합함으로써 차원 독립 MCMC 방법의 효율성을 향상시키기 위해.
• 고차원 매개변수 공간에서 가능도-정보 하위공간(LIS)을 구축하는 데 드는 계산 부담을 줄이기 위해.
• 계층적 모델 및 매개변수 이산화를 활용해 효율적이고 확장 가능하며 병렬 처리 가능한 MCMC 샘플링을 가능하게 하기 위해.
• 전진 모델 해법의 해를 재사용하는 반복적 LIS 구축 방법을 개발하여 수반되는 해법 비용을 최소화하기 위해.

제안 방법

• 전진 모델과 매개변수의 다중수준 이산화에서 가능도-정보 하위공간(LIS)을 반복적으로 구축하기 위해 레이일리-리츠 절차를 제안한다.
• 전진 모델의 희소 직접 해법에서 유도된 코レス키 인수를 재사용하여 수반 모델 동작을 효율적으로 계산함으로써 중복된 인수 분해를 피한다.
• 계층적 LIS의 구조를 활용해 혼합을 향상시키고 마르코프 체인의 상관관계를 줄이는 결합된 DILI 제안을 설계한다.
• 연속된 수준 간의 마르코프 체인을 결합하기 위한 새로운 풀링 전략을 도입하여 MCMC 시뮬레이션의 민첩하고 효율적인 병렬 처리를 가능하게 한다.
• 다중수준 몬테카를로에서 타원적 합계 추정기법을 사용해 서로 다른 수준의 사후 기대값을 조합함으로써 전체 통합 오차를 감소시킨다.
• 큰 행렬을 형성하지 않고 행렬 기반 고유값 해법을 사용해 LIS를 계산함으로써 고차원 문제에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 반복적 LIS 구축이 다중수준 환경에서 DILI-MCMC의 계산 비용을 줄일 수 있는가?
• RQ2 전진 해법에서 유도된 코レス키 인수를 재사용할 경우 LIS 구축 및 수반 연산의 효율성에 어떤 영향을 미치는가?
• RQ3 단일 수준 DILI-MCMC에 비해 다중수준 DILI-MCMC가 CPU 시간 단위 당 통합 오차를 얼마나 줄이는가?
• RQ4 계층적 LIS의 구조가 대규모 역문제에서 더 효율적이고 확장 가능한 MCMC 샘플링을 가능하게 하는가?
• RQ5 수반 해법이 비용이 많이 들 때, 반복적 LIS 구축이 단일 수준 LIS에 비해 성능 향상은 어느 정도인가?

주요 결과

• 반복적 LIS 구축은 전진 모델 해법에서 유도된 코レス키 인수를 재사용함으로써 LIS 구축 비용을 크게 감소시켜, MCMC 시뮬레이션 시간에 비해 LIS 설정 비용이 무시할 수 있을 정도로 낮아진다.
• 코レス키 인수 재사용이 가능할 경우, ML-DILI는 MLmixed와 거의 동일한 성능를 보이며, LIS 구축에 따른 추가 오버헤드가 거의 없음을 시사한다.
• 코レス키 재사용이 불가능한 경우, 반복적 LIS 구축은 수반 해법의 횟수를 크게 줄여 상당한 계산 자원 절약을 이룬다.
• 오차 허용 범위가 1.27×10⁻² 이상일 경우, LIS 구축 비용을 포함하더라도 ML-DILI는 단일 수준 DILI-MCMC보다 네 배 이상 빠르게 작동한다.
• 각 수준에서 샘플링 효율성을 크게 향상시켜 다중수준 몬테카를로 추정기법의 수렴 속도를 빠르게 하므로, CPU 시간 단위 당 통합 오차가 크게 감소한다.
• 제안된 풀링 전략은 수준 간 MCMC 체인의 민첩하고 효율적인 병렬 처리를 가능하게 하여 자원 활용도를 향상시킨다.