[论文解读] Laplace priors and spatial inhomogeneity in Bayesian inverse problems

Sergios Agapiou, Sven Wang|arXiv (Cornell University)|Dec 10, 2021

Statistical Methods and Inference被引用 4

一句话总结

本文为基于Laplace先验的贝叶斯反问题建立了频数后验收缩率，针对具有空间异质参数的情形，表明Laplace先验在$B^{\beta}_{11}$-光滑性类上可实现极小极大最优率，而高斯先验则受限于更慢的多项式次优率。分析依赖于非线性PDE前向映射的局部Lipschitz条件，以及针对$\boldsymbol{L}^1$-惩罚小波估计器的新颖浓度不等式，后者对应于Laplace先验下的MAP估计器。

ABSTRACT

Spatially inhomogeneous functions, which may be smooth in some regions and rough in other regions, are modelled naturally in a Bayesian manner using so-called Besov priors which are given by random wavelet expansions with Laplace-distributed coefficients. This paper studies theoretical guarantees for such prior measures - specifically, we examine their frequentist posterior contraction rates in the setting of non-linear inverse problems with Gaussian white noise. Our results are first derived under a general local Lipschitz assumption on the forward map. We then verify the assumption for two non-linear inverse problems arising from elliptic partial differential equations, the Darcy flow model from geophysics as well as a model for the Schrödinger equation appearing in tomography. In the course of the proofs, we also obtain novel concentration inequalities for penalized least squares estimators with $\ell^1$ wavelet penalty, which have a natural interpretation as maximum a posteriori (MAP) estimators. The true parameter is assumed to belong to some spatially inhomogeneous Besov class $B^α_{11}$, $α>0$. In a setting with direct observations, we complement these upper bounds with a lower bound on the rate of contraction for arbitrary Gaussian priors. An immediate consequence of our results is that while Laplace priors can achieve minimax-optimal rates over $B^α_{11}$-classes, Gaussian priors are limited to a (by a polynomial factor) slower contraction rate. This gives information-theoretical justification for the intuition that Laplace priors are more compatible with $\ell^1$ regularity structure in the underlying parameter.

研究动机与目标

• 为通过Besov先验建模的空间异质参数的贝叶斯反问题建立理论后验收缩率。
• 分析Laplace分布的小波系数先验在具有高斯白噪声的非线性反问题中的性能。
• 比较Laplace先验与高斯先验在恢复$B^{\beta}_{11}$-光滑性类参数时的频数收缩率。
• 验证来自椭圆PDE的前向映射满足局部Lipschitz条件，包括Darcy流和Schrödinger方程。
• 推导$\ell^1$-惩罚最小二乘估计器的新颖浓度不等式，将其与Laplace先验下的MAP估计关联。

提出的方法

• 研究采用由独立同分布的Laplace分布小波系数构成的随机小波展开来定义Besov先验测度，以建模$B^{\beta}_{11}$类中的空间异质函数。
• 为在前向映射$\mathcal{G}$满足局部Lipschitz条件时建立后验收缩率，发展了一般性理论框架，适用于基于非线性PDE的反问题。
• 推导了$\ell^1$-惩罚最小二乘估计器的新颖浓度不等式，证明其与Laplace小波先验下的MAP估计器相对应。
• 验证了两个非线性PDE模型（稳态Darcy流和断层扫描中的Schrödinger方程）的前向映射满足局部Lipschitz条件。
• 理论分析利用了Besov空间的小波表征及$H^\alpha$与$B^\beta_{11}$范数之间的嵌入不等式。
• 在直接观测下，为任意高斯先验推导了收缩率的下界，证明其相较于Laplace先验存在固有局限性。

实验结果

研究问题

• RQ1 Laplace先验是否可在具有空间异质参数的非线性贝叶斯反问题中实现极小极大最优后验收缩率？
• RQ2 在$B^\beta_{11}$-光滑性类中，Laplace先验与高斯先验在后验收缩率方面的理论性能差距为何？
• RQ3 在何种前向映射$\mathcal{G}$条件下，使用Laplace小波先验时后验可实现最优收缩率？
• RQ4 $\ell^1$-惩罚最小二乘估计器（作为MAP估计器解释）在高维小波空间中如何围绕真实参数集中？
• RQ5 在空间异质性存在时，高斯先验在多大程度上无法实现最优率，其原因是什么？

主要发现

• 当$\beta > 0$足够大时，Laplace先验在$B^{\beta}_{11}$-光滑性类上可实现极小极大最优后验收缩率。
• 即使在直接观测下，高斯先验的收缩率也受限于比极小极大最优率更慢的（多项式因子）速率。
• 已验证Darcy流和Schrödinger方程模型的前向映射$\mathcal{G}$满足局部Lipschitz条件，从而可应用一般收缩率理论。
• 建立了$\ell^1$-惩罚最小二乘估计器的新颖浓度不等式，为Laplace先验下MAP估计器提供了理论基础。
• 结果提供了信息论上的依据，表明Laplace先验相较于高斯先验，更适配于参数空间中的$\ell^1$-正则化结构。
• 分析表明，先验的选择在捕捉空间异质性方面至关重要，Laplace先验在建模具有混合光滑性和间断性的函数方面具有独特优势。