[논문 리뷰] Bayesian Updating and Uncertainty Quantification using Sequential Tempered MCMC with the Rank-One Modified Metropolis Algorithm

Thomas Catanach, James L. Beck|arXiv (Cornell University)|2018. 04. 23.

Probabilistic and Robust Engineering Design참고 문헌 36인용 수 5

한 줄 요약

이 논문은 고차원적이고 제약 조건이 있는 시스템에서 공동 베이지안 업데이트 및 사후 신뢰성 평가 문제를 효율적으로 해결하기 위해 새로운 순차적 온도 조절 몬테카를로(MCMC) 프레임워크(ST-MCMC)와 랭크-원 수정 메트로폴리스 알고리즘(ROMMA)을 결합한다. 온도 조절, 중요도 재표본 추출, 사전 분포 제약 조건에 적응하는 제안 메커니즘을 통해 ROMMA는 복잡한 고차원 사후 분포에서 MCMC 표본 추출 효율성을 크게 향상시켜, 불확실한 파rameter를 가진 물 공급 네트워크와 같은 시스템에서 고장 확률의 정확하고 강건한 추정을 가능하게 한다.

ABSTRACT

Bayesian methods are critical for quantifying the behaviors of systems. They capture our uncertainty about a system's behavior using probability distributions and update this understanding as new information becomes available. Probabilistic predictions that incorporate this uncertainty can then be made to evaluate system performance and make decisions. While Bayesian methods are very useful, they are often computationally intensive. This necessitates the development of more efficient algorithms. Here, we discuss a group of population Markov Chain Monte Carlo (MCMC) methods for Bayesian updating and system reliability assessment that we call Sequential Tempered MCMC (ST-MCMC) algorithms. These algorithms combine 1) a notion of tempering to gradually transform a population of samples from the prior to the posterior through a series of intermediate distributions, 2) importance resampling, and 3) MCMC. They are a form of Sequential Monte Carlo and include algorithms like Transitional Markov Chain Monte Carlo and Subset Simulation. We also introduce a new sampling algorithm called the Rank-One Modified Metropolis Algorithm (ROMMA), which builds upon the Modified Metropolis Algorithm used within Subset Simulation to improve performance in high dimensions. Finally, we formulate a single algorithm to solve combined Bayesian updating and reliability assessment problems to make posterior assessments of system reliability. The algorithms are then illustrated by performing prior and posterior reliability assessment of a water distribution system with unknown leaks and demands.

연구 동기 및 목표

• 복잡한 시스템에서 베이지안 업데이트와 사후 신뢰성 평가를 하나의 계산 프레임워크로 통합하기.
• 고차원적이고 제약 조건이 있는 사후 분포에서 전통적인 MCMC 방법의 계산 비효율성 문제 해결하기.
• 고차원 및 모델링 불확실성 하에서 표준 방법을 능가하는 확장 가능하고 병렬 처리가 가능한 MCMC 샘플러 개발하기.
• 부분적 또는 정보가 부족한 데이터를 가진 실세계 시스템에서 사후 고장 확률의 정확한 추정 가능하게 하기.
• 불확실한 누출 및 수요를 포함한 고차원 물 공급 네트워크에서 이 프레임워크의 강건성과 효율성 입증하기.

제안 방법

• ST-MCMC 프레임워크는 온도 조절을 통해 사전 분포에서 사후 분포로 표본 집단을 점진적으로 변환하는 방식으로, 중간 분포의 시퀀스를 이용한다.
• 각 온도 조절 수준에서 중요도 재표본 추출을 적용하여 표본의 다양성을 유지하고 복잡한 사후 구조 탐색을 향상시킨다.
• 랭크-원 수정 메트로폴리스 알고리즘(ROMMA)은 사전 정보를 기반으로 순차적 랭크-원 업데이트를 수행하는 새로운 MCMC 제안 메커니즘이다.
• ROMMA는 사전 분포의 구조에 제안을 적응시킴으로써, 특히 부등식 제약 조건과 고차원 상관관계 하에서 표본 추출 효율성을 향상시킨다.
• 온도 조절, 집단 기반 표본 추출, 적응형 제안 생성을 결합하여 복잡한 사후 분포의 혼합 및 수렴을 향상시킨다.
• 이 프레임워크는 사후 고장 확률과 모델 증거의 공동 추정을 지원하여 시스템 신뢰성에서의 전체 불확실성 정량화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 ST-MCMC 프레임워크가 고차원 시스템에서 베이지안 업데이트 및 사후 신뢰성 문제를 효율적으로 해결할 수 있는가?
• RQ2 랭크-원 수정 메트로폴리스 알고리즘(ROMMA)이 고차원적이고 제약 조건이 있는 사후 분포에서 표준 메트로폴리스 방법에 비해 MCMC 표본 추출 효율성을 어떻게 향상시키는가?
• RQ3 데이터가 정보가 없거나 제약 조건이 엄격한 사후 고장 영역에서 ROMMA는 표본 추출을 얼마나 향상시키는가?
• RQ4 모델링 불확실성과 복잡한 상관관계를 가진 시스템에서 ST-MCMC와 ROMMA가 고장 확률을 강건하게 추정할 수 있는가?
• RQ5 온도 조절, 재표본 추출, 적응형 제안의 조합이 실세계 응용에서 수렴성과 계산 효율성을 어떻게 향상시키는가?

주요 결과

• ST-MCMC 프레임워크는 베이지안 업데이트와 사후 신뢰성 평가를 하나의 알고리즘 파이프라인으로 성공적으로 통합하였다.
• ROMMA는 특히 사전 분포가 매개변수 공간을 강하게 제약할 경우 고차원 사후 분포에서 표본 추출 효율성을 크게 향상시켰다.
• 이 방법은 누출 위치와 사용자 수요를 포함한 100개 이상의 불확실한 매개변수를 가진 물 공급 네트워크에서 강건한 성능을 보였다.
• 사후 고장 확률은 90% 신뢰구간이 민감한 지역에서 높은 수요로 이동하는 방향으로 조정되었으며, 이는 데이터 기반 업데이트를 반영했다.
• 사후 고장 평균은 사전 대비 감소하여 데이터 융합 후 고장 위험이 감소했음을 나타내었으며, 이는 민감한 지역에서 큰 누출이 발생할 가능성이 낮다는 데이터와 일치했다.
• 특히 고차원적이고 상관관계가 강한 사후 분포에서 표준 RWM 및 MMA에 비해 수렴성이 향상되고 혼합 시간이 감소한 것으로 나타났다.