[论文解读] Fast inverse transform sampling in one and two dimensions

Sheehan Olver, Alex Townsend|arXiv (Cornell University)|Jul 4, 2013

Sparse and Compressive Sensing Techniques参考文献 17被引用 34

一句话总结

本文提出了一种基于自适应切比雪夫多项式逼近和低秩函数逼近的快速、鲁棒的逆变换采样算法，适用于一维和二维概率分布。该方法实现了接近机器精度的准确性，显著优于拒绝采样和分层采样，尤其在评估成本较高的分布上，通过减少函数求值次数并支持高效并行化。

ABSTRACT

We develop a computationally efficient and robust algorithm for generating pseudo-random samples from a broad class of smooth probability distributions in one and two dimensions. The algorithm is based on inverse transform sampling with a polynomial approximation scheme using Chebyshev polynomials, Chebyshev grids, and low rank function approximation. Numerical experiments demonstrate that our algorithm outperforms existing approaches.

研究动机与目标

• 克服传统观念中认为逆变换采样对一般概率分布效率低下的看法。
• 为一维和二维中光滑的、黑箱的概率分布开发一种鲁棒且计算高效的采样方法。
• 通过利用多项式逼近和低秩结构，实现在最小函数求值次数下的高精度采样。
• 提供一种可扩展、可并行化的算法，适用于大规模采样任务。

提出的方法

• 在切比雪夫网格上使用切比雪夫多项式逼近概率密度函数（PDF），通过快速余弦变换实现稳定且快速的计算。
• 采用自适应细化多项式阶数，直至系数衰减达到机器精度，确保累积分布函数（CDF）的高精度。
• 采用双射法逐点求逆CDF，而非直接计算逆函数，从而保证鲁棒的收敛性。
• 通过双变量CDF的低秩逼近将该方法扩展到二维，降低计算成本和存储需求。
• 采用黑箱方法：仅需PDF的逐点评估和一个边界区间，无需符号运算或特殊性质。
• 在近似CDF上通过逆变换采样生成样本，原始PDF在逼近后即被丢弃。

实验结果

研究问题

• RQ1 能否使逆变换采样对一般光滑、黑箱概率分布高效且鲁棒？
• RQ2 切比雪夫多项式逼近如何提升CDF计算与求逆的精度和速度？
• RQ3 低秩逼近技术能否实现对光滑双变量分布的高效2D逆变换采样？
• RQ4 与拒绝采样和分层采样相比，所提方法在性能和函数求值次数上表现如何？
• RQ5 该算法在大规模采样中可并行化的程度有多大？

主要发现

• 该算法在1D中优于Matlab的分层采样实现，尤其在ω ≥ 30时，对sech(ωx)分布表现出显著加速。
• 对于sech(ωx)分布，逆变换方法在大ω下将函数求值次数减少了约10倍，相比拒绝采样。
• 所提方法的计算成本几乎不随样本数量变化，而拒绝采样每样本成本无界。
• 由于切比雪夫逼近具有超代数收敛性，该方法鲁棒且收敛至接近机器精度的准确性。
• 该算法支持高效并行化，因为CDF表示紧凑，可本地存储以支持分布式采样。
• 通过适当的变换和逼近方案，该方法可推广至分段光滑、奇异及代数衰减分布。