[论文解读] Adaptive Importance Sampling via Stochastic Convex Programming

Ernest K. Ryu, Stephen Boyd|arXiv (Cornell University)|Dec 16, 2014

Markov Chains and Monte Carlo Methods参考文献 34被引用 19

一句话总结

本文提出 Convex AdaMC，一种基于随机凸优化的自适应重要性采样方法，通过在指数族内迭代优化采样分布，利用自然参数空间中方差函数的凸性，确保渐近最优方差，并在弱条件下证明了估计量依分布收敛于真实积分的中心极限定理。

ABSTRACT

We show that the variance of the Monte Carlo estimator that is importance sampled from an exponential family is a convex function of the natural parameter of the distribution. With this insight, we propose an adaptive importance sampling algorithm that simultaneously improves the choice of sampling distribution while accumulating a Monte Carlo estimate. Exploiting convexity, we prove that the method's unbiased estimator has variance that is asymptotically optimal over the exponential family.

研究动机与目标

• 解决高维蒙特卡洛积分中选择最优重要性采样分布的挑战。
• 克服标准重要性采样中由于积分不可计算而导致最优提议分布难以计算的困难。
• 开发一种在线自适应算法，在同时估计目标积分的同时提升采样效率。
• 利用指数族中方差的凸性，实现可证明的最优收敛性。
• 在弱正则性条件下，为收敛性和估计量的渐近正态性提供理论保证。

提出的方法

• 将指数族分布中的重要性采样方差表示为自然参数的凸函数。
• 使用随机梯度下降在线最小化该凸方差函数，迭代更新采样分布。
• 维持一个无偏的蒙特卡洛估计量，累积来自依次更新的提议分布的样本。
• 将采样分布定义为 $ f_\theta(x) = \exp(\theta^T T(x) - A(\theta)) h(x) $，其中 $ \theta $ 为自然参数。
• 通过利用方差函数的凸性并应用鞅中心极限定理，确保收敛性与渐近正态性。
• 证明该算法的估计量在指数族范围内实现渐近最优方差。

实验结果

研究问题

• RQ1 能否利用在线优化方法，在指数族范围内高效地最小化重要性采样估计量的方差？
• RQ2 一种基于历史样本更新提议分布的自适应算法，是否能实现渐近最优方差？
• RQ3 当仅有噪声样本可用时，能否将随机梯度下降应用于最小化方差函数？
• RQ4 在该自适应设置下，估计量的收敛性和渐近分布可建立哪些理论保证？
• RQ5 在何种条件下，自适应估计量能在指数族范围内实现最小可能方差？

主要发现

• 重要性采样估计量的方差是指数族自然参数的凸函数，从而支持高效优化。
• 所提出的 Convex AdaMC 算法由于方差函数的凸性，在指数族范围内实现渐近最优方差。
• 估计量无偏，且依分布收敛于均值为零、方差等于最优方差 $ V^* $ 的正态随机变量。
• 该算法的期望收敛速率为 $ \mathcal{O}(1/\sqrt{n}) $，与标准蒙特卡洛方法一致，但具有更小的渐近方差。
• 通过应用鞅中心极限定理证明了渐近正态性，条件是四阶矩函数esssup为有限值。
• 该方法确保估计量的方差以概率收敛至最优值 $ V^* $，并对偏差与收敛性提供了理论保证。