[논문 리뷰] Dimension-Robust MCMC in Bayesian Inverse Problems

Victor Chen, Matthew M. Dunlop외 2명|arXiv (Cornell University)|2018. 03. 09.

Gaussian Processes and Bayesian Inference참고 문헌 46인용 수 19

한 줄 요약

이 논문은 비정규 또는 계층적 사전분포를 가진 베이지안 역문제에 대해 비중앙화 파arameterisation과 전처리된 크랭크-니콜슨 샘플링을 조합하여 차원에 강건한 MCMC 프레임워크를 제안한다. 이 방법은 고차원 및 무한차원 잠재 상태에서 안정적인 성능을 보장하여, 최소한의 레이블 데이터로도 효율적인 불확실성 정량화와 능동 학습을 가능하게 한다.

ABSTRACT

The methodology developed in this article is motivated by a wide range of prediction and uncertainty quantification problems that arise in Statistics, Machine Learning and Applied Mathematics, such as non-parametric regression, multi-class classification and inversion of partial differential equations. One popular formulation of such problems is as Bayesian inverse problems, where a prior distribution is used to regularize inference on a high-dimensional latent state, typically a function or a field. It is common that such priors are non-Gaussian, for example piecewise-constant or heavy-tailed, and/or hierarchical, in the sense of involving a further set of low-dimensional parameters, which, for example, control the scale or smoothness of the latent state. In this formulation prediction and uncertainty quantification relies on efficient exploration of the posterior distribution of latent states and parameters. This article introduces a framework for efficient MCMC sampling in Bayesian inverse problems that capitalizes upon two fundamental ideas in MCMC, non-centred parameterisations of hierarchical models and dimension-robust samplers for latent Gaussian processes. Using a range of diverse applications we showcase that the proposed framework is dimension-robust, that is, the efficiency of the MCMC sampling does not deteriorate as the dimension of the latent state gets higher. We showcase the full potential of the machinery we develop in the article in semi-supervised multi-class classification, where our sampling algorithm is used within an active learning framework to guide the selection of input data to manually label in order to achieve high predictive accuracy with a minimal number of labelled data.

연구 동기 및 목표

• 비정규 또는 계층적 사전분포를 가진 베이지안 역문제에서 효율적인 사후 샘플링에 도전한다.
• 잠재 상태의 차원이 증가함에 따라 MCMC 효율성이 떨어지는 문제를 해결한다.
• 고차원 추론 작업에서 예측 및 의사결정을 위한 강건한 불확실성 정량화를 가능하게 한다.
• 비모수 회귀, PDE 역문제, 준감독 분류 등 다양한 분야에 적용 가능한 즉시 사용 가능한 MCMC 프레임워크를 개발한다.
• 사후 불확실성을 활용하여 수동 레이블링을 위한 최적의 데이터 선택을 지도하는 능동 학습을 지원한다.

제안 방법

• 잠재 상태와 초모수 간의 분리를 통해 계층 모델에서 혼합 성능을 향상시키기 위해 비중앙화 파arameterisation을 적용한다.
• 잠재 가우시안 사후분포에서 효율적인 샘플링을 위해 전처리된 크랭크-니콜슨(pCN) 알고리즘을 적용하며, 차원에 강건한 성능을 확보한다.
• 사후분포를 보조 변수와 초모수에 대한 공동 분포로 변환하여 반복적 기반의 기하학적 샘플링(Gibbs sampling)을 가능하게 한다.
• 백색 잡음 변환을 통해 비중앙화 재정의를 정의하여 무한차원 함수 공간에 적용 가능하게 한다.
• pCN를 이용한 잠재 상태 갱신과 조건부 갱신을 통한 초모수 갱신을 조합하여 공동 MCMC 샘플러를 구성한다.
• 사후 불확실성을 활용하여 가장 정보가 많은 미레이블링된 데이터 포인트를 선택하는 방식으로, 능동 학습 파이프라인에 프레임워크를 통합한다.

실험 결과

연구 질문

• RQ1 잠재 상태의 차원이 증가함에 따라 베이지안 역문제에서의 MCMC 샘플링 효율성이 유지되는가?
• RQ2 비중앙화 파arameterisation은 비정규 사전분포를 가진 계층 모델에서 혼합 성능과 수렴 속도를 어떻게 향상시키는가?
• RQ3 제안된 프레임워크가 고차원 환경에서 표준 랜덤 워크 메트로폴리스 알고리즘보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 사후분포에서 도출된 불확실성 정량화는 준감독 분류에서 효과적인 능동 학습을 이끌 수 있는가?
• RQ5 고차원 또는 무한차원 공간에서 조정 파rameter의 선택에 대해 제안된 방법이 얼마나 강건한가?

주요 결과

• 제안된 MCMC 프레임워크는 잠재 상태의 이산화 수준이 증가함에 따라 차원에 강건한 성능을 보이며, 샘플링 효율성이 안정적이다.
• 준감독 다중 클래스 분류에서 가장 불확실한 100张 이미지에 대해 레이블을 추가하면 평균 불확실도가 0.135에서 0.100으로 감소하여 효과적인 능동 학습을 입증한다.
• 가장 확신도가 높은 이미지들(U(x_j) = 0)에 대해 레이블을 추가한 경우, 평균 불확실도는 0.128로 뿐만 아니라 영향이 훨씬 작아, 불확실성 기반 선택의 가치를 강조한다.
• 추가로 300장의 불확실한 이미지에 대해 레이블을 추가한 후 평균 불확실도는 0.070으로 감소하였으며, 가장 낮은 불확실도 범주에 속하는 이미지 수가 크게 증가하였다.
• 고차원 환경에서 표준 랜덤 워크 메트로폴리스 알고리즘보다 성능이 뛰어나며, 가용한 특화된 방법과 비교해도 유사한 성능을 기록한다.
• 수용 확률이 0 또는 1에서 멀리 떨어져 있는 한, 조정 파arameter의 선택에 대해 프레임워크가 강건함을 확인하여 실용적인 적용 가능성을 시사한다.