[论文解读] A Moreau-Yosida approximation scheme for a class of high-dimensional posterior distributions

Yves F. Atchadé|arXiv (Cornell University)|May 26, 2015

Bayesian Methods and Mixture Models参考文献 48被引用 8

一句话总结

本文提出了一种基于Moreau-Yosida的平滑近似方法，用于处理由精确稀疏性诱导先验（如spike-and-slab）引起的高维后验分布。该方法在$\beta$-度量下实现了$O(\tilde{\gamma}^{1/2})$的近似误差，支持高效的MCMC采样，同时通过用户定义的参数$\gamma$实现可控的精度。该方法在高维线性回归中得到验证，展现出最优的后验收缩率。

ABSTRACT

Exact-sparsity inducing prior distributions in Bayesian analysis typically lead to posterior distributions that are very challenging to handle by standard Markov Chain Monte Carlo (MCMC) methods, particular in high-dimensional models with large number of parameters. We propose a methodology to derive smooth approximations of such posterior distributions that are, in some cases, easier to handle by standard MCMC methods. The approximation is obtained from the forward-backward approximation of the Moreau-Yosida regularization of the negative log-density. We show that the derived approximation is within $O(\sqrtγ)$ of the true posterior distribution in the $β$-metric, where $γ>0$ is a user-controlled parameter that defines the approximation. We illustrate the method with a high-dimensional linear regression model.

研究动机与目标

• 为解决高维模型中使用精确稀疏性诱导先验（如spike-and-slab）时后验推断的计算不可行性。
• 开发一种平滑且可处理的后验近似，同时保持最优的后验集中性质。
• 通过将非光滑、非凸的后验目标转化为更平滑、正则化的形式，实现通过标准MCMC方法的高效采样。
• 为近似提供用户可控的误差界，确保精度的理论保证。
• 将适用范围扩展至高斯似然和重尾尾部之外，克服现有方法（如边际化或变维MCMC）的局限性。

提出的方法

• 该方法对后验的负对数密度应用Moreau-Yosida正则化，将非光滑、非凸函数转化为平滑、凸的近似。
• 采用前向-后向分裂框架计算Moreau-Yosida包络，该包络作为原始对数密度的正则化代理。
• 得到的近似后验$\check{\Pi}_{\gamma}(\cdot|z)$与$\exp(-\varrho_{\gamma}(z))$成比例，其中$\varrho_{\gamma}$是负对数似然与先验的Moreau近似。
• 近似误差在$\beta$-度量下被$O(\sqrt{\gamma})$所控制，其中$\gamma > 0$为控制平滑度与精度的调参。
• 该方法应用于具有拉普拉斯型先验的高维线性回归，由于其平滑性和对数凹性，近似后验仍适用于标准MCMC方法。
• 理论分析利用了对Radon-Nikodym导数的浓度不等式与矩界，在设计矩阵满足正则性条件下控制近似误差。

实验结果

研究问题

• RQ1 能否为具有精确稀疏性诱导先验的高维后验构造一种平滑且适合MCMC的近似？
• RQ2 在用户可控参数$\gamma$的条件下，真实后验与Moreau-Yosida近似之间的理论误差界是什么？
• RQ3 该近似是否在高维线性模型中保持最优的后验收缩率？
• RQ4 该方法能否扩展至高斯似然和高斯尾部之外，特别是适用于重尾尾部分布？
• RQ5 与变维采样器或变分方法相比，该近似在MCMC混合性能与计算可扩展性方面表现如何？

主要发现

• Moreau-Yosida近似在$\beta$-度量下实现了$O(\sqrt{\gamma})$的误差界，连接真实后验$\check{\Pi}(\cdot|z)$与近似后验$\check{\Pi}_{\gamma}(\cdot|z)$，其中$\gamma > 0$为用户可控参数。
• 即使当参数数量$d$随样本量$n$增长，该误差在高维参数空间中仍保持一致可控。
• 该方法通过将原始非光滑后验转化为平滑、对数凹的目标，实现了高效的MCMC采样，避免了变维移动的需要。
• 在正则性条件下建立了理论保证，包括$X^\top X$的有界特征值、稀疏性$s_\star \ll n$，以及$\lambda_1 = 4\sigma\sqrt{\bar{\kappa}(1)n\log d}$。
• 该近似对重尾尾部分布依然有效，而这类分布已知可实现最优后验收缩率，从而克服了基于边际化的现有方法的关键局限。
• 该方法对高维性具有鲁棒性，如不等式$\log \mathbb{E}[e^{\varrho_{\gamma}(Z)} \mathbf{1}_{\mathcal{E}}(Z)] \leq -\log(\pi_{\delta_\star}) + O(s_\star \log d) + O(\gamma \cdot \text{Tr}(X^\top X))$所示，该界在高维渐近下仍可控。