[论文解读] Dimension-Robust MCMC in Bayesian Inverse Problems

Victor Chen, Matthew M. Dunlop+2 more|arXiv (Cornell University)|Mar 9, 2018

Gaussian Processes and Bayesian Inference参考文献 46被引用 19

一句话总结

本文提出了一种针对具有非高斯或层次先验的贝叶斯反问题的维度鲁棒MCMC框架，通过结合非中心参数化与预处理Crank-Nicolson采样实现。该方法在高维及无限维潜在状态中均保持稳定性能，实现了高效不确定性量化与主动学习，且在极少标注数据下表现优异。

ABSTRACT

The methodology developed in this article is motivated by a wide range of prediction and uncertainty quantification problems that arise in Statistics, Machine Learning and Applied Mathematics, such as non-parametric regression, multi-class classification and inversion of partial differential equations. One popular formulation of such problems is as Bayesian inverse problems, where a prior distribution is used to regularize inference on a high-dimensional latent state, typically a function or a field. It is common that such priors are non-Gaussian, for example piecewise-constant or heavy-tailed, and/or hierarchical, in the sense of involving a further set of low-dimensional parameters, which, for example, control the scale or smoothness of the latent state. In this formulation prediction and uncertainty quantification relies on efficient exploration of the posterior distribution of latent states and parameters. This article introduces a framework for efficient MCMC sampling in Bayesian inverse problems that capitalizes upon two fundamental ideas in MCMC, non-centred parameterisations of hierarchical models and dimension-robust samplers for latent Gaussian processes. Using a range of diverse applications we showcase that the proposed framework is dimension-robust, that is, the efficiency of the MCMC sampling does not deteriorate as the dimension of the latent state gets higher. We showcase the full potential of the machinery we develop in the article in semi-supervised multi-class classification, where our sampling algorithm is used within an active learning framework to guide the selection of input data to manually label in order to achieve high predictive accuracy with a minimal number of labelled data.

研究动机与目标

• 解决具有非高斯或层次先验的贝叶斯反问题中高效后验采样的挑战。
• 克服潜在状态维度增加时MCMC效率下降的问题。
• 在高维推断任务中实现对预测与决策的鲁棒不确定性量化。
• 开发一种即插即用的MCMC框架，适用于非参数回归、PDE反演及半监督分类等多种领域。
• 通过利用后验不确定性指导最优数据选择，支持主动学习。

提出的方法

• 采用非中心参数化将潜在状态与超参数解耦，提升层次模型中的混合效率。
• 应用预处理Crank-Nicolson（pCN）算法，实现对潜在高斯后验的高效采样，确保维度鲁棒性。
• 将后验转化为辅助变量与超参数的联合分布，以支持迭代Gibbs采样。
• 通过白噪声变换定义非中心重参数化，使方法可应用于无限维函数空间。
• 结合pCN用于潜在状态更新与超参数的条件更新，形成联合MCMC采样器。
• 通过利用后验不确定性选择最具信息量的未标注数据点进行标注，将该框架集成至主动学习流程中。

实验结果

研究问题

• RQ1 随着潜在状态维度的增加，贝叶斯反问题中的MCMC采样是否仍能保持高效？
• RQ2 非中心参数化在具有非高斯先验的层次模型中如何改善混合与收敛性？
• RQ3 在高维设置下，所提框架相较于标准随机游走Metropolis算法的性能优势有多大？
• RQ4 后验不确定性量化是否能有效指导半监督分类中的主动学习？
• RQ5 在高维或无限维空间中，该方法对调优参数的选择是否具有鲁棒性？

主要发现

• 所提MCMC框架实现了维度鲁棒性能，采样效率在潜在状态离散化程度增加时保持稳定。
• 在半监督多分类任务中，标注最不确定的100张图像后，平均不确定性从0.135降至0.100，证明了主动学习的有效性。
• 标注最确定的图像（U(x_j) = 0）影响较小，平均不确定性仅降至0.128，凸显了不确定性引导选择的价值。
• 在额外标注300张不确定图像后，平均不确定性降至0.070，且低不确定性区间内的图像数量显著增加。
• 在高维设置下，该方法优于标准随机游走Metropolis算法，并在有可用时匹配定制化方法的性能。
• 只要接受概率保持远离0或1，该框架对调优参数选择具有鲁棒性，表明其具有实际可用性。