[论文解读] Composite Logconcave Sampling with a Restricted Gaussian Oracle

Ruoqi Shen, Kevin Tian+1 more|arXiv (Cornell University)|Jun 10, 2020

Sparse and Compressive Sensing Techniques参考文献 30被引用 4

一句话总结

本文提出 Composite-Sample 算法，用于近似采样复合对数凹分布 $\pi(x) \propto \exp(-f(x) - g(x))$，其中 $f$ 为良好条件的函数，$g$ 为凸函数但可能不可微。该方法利用 $g$ 的受限高斯预言机并访问 $f+g$ 的最小化点，实现 $\tilde{O}(\kappa^2 d \log^2(\kappa d / \epsilon))$ 的运行时间，以达到 $\epsilon$ 精度的总变差距离，显著优于先前的复合采样界。

ABSTRACT

We consider sampling from composite densities on $\mathbb{R}^d$ of the form $dπ(x) \propto \exp(-f(x) - g(x))dx$ for well-conditioned $f$ and convex (but possibly non-smooth) $g$, a family generalizing restrictions to a convex set, through the abstraction of a restricted Gaussian oracle. For $f$ with condition number $κ$, our algorithm runs in $O \left(κ^2 d \log^2 frac{κd}ε ight)$ iterations, each querying a gradient of $f$ and a restricted Gaussian oracle, to achieve total variation distance $ε$. The restricted Gaussian oracle, which draws samples from a distribution whose negative log-likelihood sums a quadratic and $g$, has been previously studied and is a natural extension of the proximal oracle used in composite optimization. Our algorithm is conceptually simple and obtains stronger provable guarantees and greater generality than existing methods for composite sampling. We conduct experiments showing our algorithm vastly improves upon the hit-and-run algorithm for sampling the restriction of a (non-diagonal) Gaussian to the positive orthant.

研究动机与目标

• 开发一种用于复合对数凹分布的采样算法，其势函数为良好条件函数 $f$ 与凸函数 $g$（可能不可微）之和。
• 通过引入受限高斯预言机作为处理不可微分部分的自然抽象，将对数凹采样工具包扩展至行为更复杂的场景。
• 实现与非复合采样方法相媲美且具有竞争力的运行时间保证，同时保持对预言机和最小化点访问不精确的鲁棒性。
• 证明受限高斯预言机是复合采样中实用且强大的原 primitive，支持高效且概念简洁的归约。

提出的方法

• 该算法使用受限高斯预言机，从与 $\exp(-\|x - v\|^2 / (2\lambda) - g(x))$ 成比例的分布中采样，从而在复合势函数下实现高效采样。
• 通过精心设计的迭代方案，将复合采样问题转化为一系列受限高斯采样与 $f$ 的梯度查询，利用李雅普诺夫函数追踪收敛性。
• 引入时变温度参数 $\alpha$ 以逐步优化采样分布，确保稳定性和收敛性。
• 关键技术组件是在局部邻域内对 $f$ 使用二次逼近，使算法能够以受控误差模拟类似朗之万的扩散过程。
• 通过证明对最小化点 $x^*$ 和预言机调用的不精确性具有鲁棒性，其误差为反多项式级别，且界仅受常数因子影响。
• 理论分析依赖于李雅普诺夫函数和微分不等式论证，以界定与目标分布距离的变化速率。

实验结果

研究问题

• RQ1 我们能否仅使用 $g$ 的受限高斯预言机和对 $f+g$ 最小化点的访问，设计出一种高效采样算法来处理复合对数凹分布？
• RQ2 在复合问题中，受限高斯预言机相较于标准的一阶或零阶预言机，在采样效率和通用性方面表现如何？
• RQ3 在最小假设下，复合对数凹采样的最优时间复杂度是多少？能否达到或接近最优的非复合采样界？
• RQ4 该算法在 $f+g$ 最小化不精确以及受限高斯预言机近似实现时，其鲁棒性如何？

主要发现

• Composite-Sample 算法在 $\epsilon$ 总变差距离精度下实现 $\tilde{O}(\kappa^2 d \log^2(\kappa d / \epsilon))$ 的运行时间，其中 $\kappa$ 为 $f$ 的条件数。
• 该算法每轮迭代仅需对 $f$ 的梯度和 $g$ 的受限高斯预言机进行常数期望查询次数。
• 该方法对最小化点 $x^*$ 和受限高斯预言机的反多项式误差具有鲁棒性，界仅受常数因子影响。
• 分析通过李雅普诺夫函数建立关于与目标分布距离的微分不等式，导出 $\tilde{O}(\kappa^2 d)$ 的运行时间界。
• 该方法在通用性和运行时间方面均优于先前的复合采样方法，尤其在 $g$ 不可微或具有结构（如 $\ell_1$-正则化）时表现更优。
• 在 $d=10$ 的实验中，通过拒绝采样进行经验验证，结果确认了算法的正确性，投影二维直方图显示视觉上的一致性。