[논문 리뷰] Robust MCMC Sampling with Non-Gaussian and Hierarchical Priors in High Dimensions

Victor Chen, Matthew M. Dunlop외 2명|arXiv (Cornell University)|2018. 03. 09.

Machine Learning and Algorithms인용 수 12

한 줄 요약

이 논문은 비정규 및 계층적 사전분포를 가진 고차원 베이지안 역문제에 대해, 이산화에 의존하지 않는 수렴 속도를 보장하기 위해 화이트 노이즈 표현을 사용하는 강건한 마르코프 체인 몬테카를로(MCMC) 샘플링 방법을 개발한다. 이 방법은 기존에 정규 사전분포에 대해 확립된 강건성의 범위를 베존, 딥 정규, 조각별로 일정한 유형의 복잡한 사전분포로 확장하며, 무한차원 설정에서의 확장 가능한 추론을 가능하게 한다.

ABSTRACT

A key problem in inference for high dimensional unknowns is the design of sampling algorithms whose performance scales favourably with the dimension of the unknown. A typical setting in which these problems arise is the area of Bayesian inverse problems. In such problems, which include graph-based learning, nonparametric regression and PDE-based inversion, the unknown can be viewed as an infinite-dimensional parameter (such as a function) that has been discretised. This results in a high-dimensional space for inference. Here we study robustness of an MCMC algorithm for posterior inference; this refers to MCMC convergence rates that do not deteriorate as the discretisation becomes finer. When a Gaussian prior is employed there is a known methodology for the design of robust MCMC samplers. However, one often requires more flexibility than a Gaussian prior can provide: hierarchical models are used to enable inference of parameters underlying a Gaussian prior; or non-Gaussian priors, such as Besov, are employed to induce sparse MAP estimators; or deep Gaussian priors are used to represent other non-Gaussian phenomena; and piecewise constant functions, which are necessarily non-Gaussian, are required for classification problems. The purpose of this article is to show that the simulation technology available for Gaussian priors can be exported to such non-Gaussian priors. The underlying methodology is based on a white noise representation of the unknown. This is exploited both for robust posterior sampling and for joint inference of the function and parameters involved in the specification of its prior, in which case our framework borrows strength from the well-developed non-centred methodology for Bayesian hierarchical models. The desired robustness of the proposed sampling algorithms is supported by some theory and by extensive numerical evidence from several challenging problems.

연구 동기 및 목표

• 베이지안 역문제에서 알려진 값의 차원이 증가함에 따라 수렴 속도가 악화되지 않는 MCMC 샘플러 설계의 과제를 해결하기 위해.
• 이전에 정규 사전분포에 대해 입증된 MCMC 샘플링의 강건성을, 베존, 딥 정규, 조각별 일정한 사전분포와 같은 비정규 및 계층적 사전분포로 확장하기 위해.
• 비중앙 파arameterization 기법을 활용하여 계층 모델에서 함수와 하이퍼파ram터를 동시에 추론할 수 있도록 하기 위해.
• PDE 기반 역문제, 비모수 회귀, 그래프 기반 학습에서 발생하는 고차원 및 무한차원 추론 문제에서의 확장성과 강건성을 확보하기 위해.
• 다양하고 도전적인 역문제에 걸쳐 제안된 샘플링 프레임워크의 강건성에 대한 이론적 및 수치적 근거를 제공하기 위해.

제안 방법

• 알려지지 않은 값의 화이트 노이즈 표현을 사용하여 사전분포와 사후분포를 재매개변수화함으로써 치수에 독립적인 샘플링을 가능하게 한다.
• 계층 모델에서 사후분포 기하학의 안정성을 높이고 MCMC 혼합 성능을 향상시키기 위해 비중앙 매개변수화 전략을 활용한다.
• 화이트 노이즈 기저를 활용하여 정규 사전분포에서 비정규 사전분포로의 방법 확장이 가능하게 하여 일관된 사전분포 지정을 실현한다.
• 이산화가 증가하더라도 강건한 수렴을 유지하는 MCMC 알고리즘(예: 전처리된 크랭크-니콜슨 또는 랜덤 워크 메트로폴리스-혹스키)을 설계한다.
• 사전분포 하이퍼파ram터를 계층 베이지안 모델의 미지 변수로 간주하여 함수와 하이퍼파ram터의 공동 추론을 통합한다.
• 화이트 노이즈 프레임워크를 사용하여 사전분포 구조와 샘플링 알고리즘을 분리함으로써 다양한 사전분포 유형에서의 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 정규 사전분포에 대해 설계된 MCMC 샘플러를 비정규 사전분포에 적용할 때도 강건성을 유지할 수 있는가?
• RQ2 차원이 증가함에 따라 수렴 속도가 악화되지 않도록 하면서 계층적 사전분포를 강건한 MCMC 샘플링에 통합할 수 있는가?
• RQ3 화이트 노이즈 표현이 비정규 사전분포 구조(예: 베존 또는 조각별 일정한 사전분포)에 걸쳐 강건성을 어떻게 보장할 수 있는가?
• RQ4 비중앙 매개변수화 전략을 비정규 사전분포로 일반화할 수 있는가? 이는 MCMC 혼합 및 수렴을 향상시키는 데 기여하는가?
• RQ5 제안된 샘플링 프레임워크의 치수에 독립적인 수렴에 대한 이론적 및 수치적 증거는 무엇인가?

주요 결과

• 제안된 MCMC 샘플러는 비정규 사전분포(예: 베존 또는 조각별 일정한 함수)를 사용할 때도 이산화 수준과 관계없이 강건한 수렴 속도를 유지한다.
• 화이트 노이즈 표현은 딥 정규 및 계층적 사전분포를 포함한 다양한 사전분포 유형에서 일관되고 안정적인 샘플링을 가능하게 한다.
• 비중앙 매개변수화를 활용하여 함수와 하이퍼파라미터의 공동 추론이 안정적인 혼합 및 수렴을 보이며 실현된다.
• 이론적 분석은 샘플링 알고리즘의 강건성을 지지하며, 수렴 속도가 치수에 대해 균일하게 유 bounds된다.
• PDE 기반 역문제, 비모수 회귀, 그래프 기반 학습에 걸쳐 광범위한 수치 실험을 통해 이산화가 증가함에 따라 안정적인 성능이 입증되었다.
• 이 프레임워크는 MCMC 샘플링의 강건성을 정규 사전분포에서 비정규 사전분포로 확장하여, 무한차원 베이지안 문제에서의 확장 가능한 추론을 성공적으로 실현하였다.