[论文解读] An Efficient Sampling Algorithm for Non-smooth Composite Potentials

Wenlong Mou, Nicolas Flammarion+2 more|arXiv (Cornell University)|Oct 1, 2019

Markov Chains and Monte Carlo Methods参考文献 60被引用 14

一句话总结

本文提出了一种针对非光滑复合势函数 $\pi(x) \propto \exp(-f(x) - g(x))$ 的新型 Metropolis-Hastings 采样算法，其中 $f$ 为光滑且强凸函数，$g$ 为凸且利普希茨连续函数。该方法基于 Moreau-Yoshida 正则化思想设计了一种基于近端算子的提议分布，实现了总变差距离下的混合时间 $O(d\log(d/\varepsilon))$，在条件数因子范围内与光滑势函数的最佳已知速率相匹配。

ABSTRACT

We consider the problem of sampling from a density of the form $p(x) \propto \exp(-f(x)- g(x))$, where $f: \mathbb{R}^d ightarrow \mathbb{R}$ is a smooth and strongly convex function and $g: \mathbb{R}^d ightarrow \mathbb{R}$ is a convex and Lipschitz function. We propose a new algorithm based on the Metropolis-Hastings framework, and prove that it mixes to within TV distance $\varepsilon$ of the target density in at most $O(d \log (d/\varepsilon))$ iterations. This guarantee extends previous results on sampling from distributions with smooth log densities ($g = 0$) to the more general composite non-smooth case, with the same mixing time up to a multiple of the condition number. Our method is based on a novel proximal-based proposal distribution that can be efficiently computed for a large class of non-smooth functions $g$.

研究动机与目标

• 为解决现有方法在非光滑复合势函数采样中对精度 $\varepsilon$ 的差强依赖性与高偏差问题，填补采样效率的空白。
• 将现有光滑对数密度的最优混合时间保证推广至复合非光滑情形，尤其针对 $g$ 为凸且利普希茨连续的情况。
• 设计一种可通过近端算子高效计算的提议分布，从而实现对一大类非光滑函数的实用化实现。
• 在对数索波列夫不等式与利普希茨条件下，实现混合时间尺度为 $O(d\log(d/\varepsilon))$，与光滑势函数的最佳已知速率相匹配。

提出的方法

• 该算法采用 Metropolis-Hastings 框架，其新颖的提议分布源自 Moreau-Yoshida 正则化，融合了非光滑函数 $g$ 的近端算子。
• 提议分布构造为以近端点为中心的截断正态分布，确保计算高效并具备良好的探索性能。
• 该方法依赖于 $g$ 的近端预言机，使其能够处理如 $\ell_1$-范数或拉普拉斯先验等非光滑正则化项。
• 理论分析采用耦合与导纳技术，以有界目标分布的总变差距离。
• 关键组件包括步长 $\eta < 1/(16L)$ 以保证稳定性，以及截断机制以控制尾部行为。
• 提议分布的设计在 $f$ 的局部梯度信息与 $g$ 的近端结构之间实现平衡，从而提升收敛性。

实验结果

研究问题

• RQ1 能否设计一种 Metropolis-Hastings 算法，使非光滑复合势函数的混合时间达到 $O(d\log(d/\varepsilon))$，与光滑势函数的最佳已知速率相匹配？
• RQ2 当 $g$ 为凸且利普希茨连续（即使非光滑）时，基于近端的提议分布是否能实现高效采样？
• RQ3 混合时间如何依赖于问题的条件数？能否在 $O(1/\varepsilon^2)$ 之外实现与 $\varepsilon$ 无关的有界性？
• RQ4 该算法能否在不依赖极小步长的情况下维持快速收敛，从而避免未调整链中的高偏差？
• RQ5 对数索波列夫不等式在确保复合非光滑目标的快速混合中起到何种作用？

主要发现

• 所提出的算法在总变差距离下实现了 $O(d\log(d/\varepsilon))$ 的混合时间，与光滑势函数的最佳已知速率相匹配。
• 在目标分布满足对数索波列夫不等式且 $g$ 为 $O(\sqrt{d})$-利普希茨连续的假设下，该混合时间保证成立。
• 与光滑情形相比，该算法性能仅受条件数常数因子影响，显著缩小了理论保证的差距。
• 基于近端的提议分布使一大类非光滑函数（包括 $\ell_1$ 和拉普拉斯先验）的高效计算成为可能。
• 该方法避免了先前工作中出现的 $O(d/\varepsilon^2)$ 依赖关系，显著改善了精度缩放性能。
• 理论分析证实，该算法在不依赖过小步长的情况下仍能保持快速收敛，从而降低了马尔可夫链中的偏差。