[论文解读] Convergence rates for optimised adaptive importance samplers

Ömer Deniz Akyıldız, Joaquı́n Mı́guez|arXiv (Cornell University)|Mar 28, 2019

Mathematical Approximation and Integration被引用 3

一句话总结

本文提出了优化自适应重要性采样器（OAIS），这是一类通过凸优化迭代最小化指数族提议分布与目标分布之间χ²散度的自适应蒙特卡洛方法。作者推导出非渐近均方误差界，明确依赖于迭代次数$t$和样本数$N$，证明当目标分布属于指数族时，OAIS可实现最优$O(1/\sqrt{N})$收敛速率，且在$t$上的收敛速率可量化。

ABSTRACT

Adaptive importance samplers are adaptive Monte Carlo algorithms to estimate expectations with respect to some target distribution which extit{adapt} themselves to obtain better estimators over a sequence of iterations. Although it is straightforward to show that they have the same $\mathcal{O}(1/\sqrt{N})$ convergence rate as standard importance samplers, where $N$ is the number of Monte Carlo samples, the behaviour of adaptive importance samplers over the number of iterations has been left relatively unexplored. In this work, we investigate an adaptation strategy based on convex optimisation which leads to a class of adaptive importance samplers termed extit{optimised adaptive importance samplers} (OAIS). These samplers rely on the iterative minimisation of the $\chi^2$-divergence between an exponential-family proposal and the target. The analysed algorithms are closely related to the class of adaptive importance samplers which minimise the variance of the weight function. We first prove non-asymptotic error bounds for the mean squared errors (MSEs) of these algorithms, which explicitly depend on the number of iterations and the number of samples together. The non-asymptotic bounds derived in this paper imply that when the target belongs to the exponential family, the $L_2$ errors of the optimised samplers converge to the optimal rate of $\mathcal{O}(1/\sqrt{N})$ and the rate of convergence in the number of iterations are explicitly provided. When the target does not belong to the exponential family, the rate of convergence is the same but the asymptotic $L_2$ error increases by a factor $\sqrt{ ho^\star} > 1$, where $ ho^\star - 1$ is the minimum $\chi^2$-divergence between the target and an exponential-family proposal.

研究动机与目标

• 通过推导明确依赖于迭代次数$t$和蒙特卡洛样本数$N$的误差界，填补自适应重要性采样理论分析的空白。
• 提出一类新型自适应重要性采样器——优化自适应重要性采样器（OAIS），通过最小化提议分布与目标分布之间的χ²散度实现。
• 为OAIS建立非渐近均方误差（MSE）界，揭示计算量（迭代次数）与统计精度（样本数）之间的权衡。
• 以$t$和$N$为变量，表征OAIS的收敛速率，特别是当目标分布不属于指数族时的情形。
• 通过凸优化为重要性采样中最小化方差的自适应策略提供理论依据。

提出的方法

• 通过最小化目标分布与指数族提议分布之间的χ²散度，将提议分布的自适应过程建模为凸优化问题。
• 利用重要性采样估计量的方差与χ²散度成正比的事实，使凸优化技术得以应用。
• 设计一种迭代算法，通过使用χ²散度梯度的无偏估计，采用随机梯度下降法更新提议参数$\theta_t$。
• 采用带递减步长$\gamma_k = \alpha / \sqrt{k}$的投影随机梯度下降方案，以确保收敛至最优参数$\theta^*$。
• 将过去参数的平均值$\bar{\theta}_t = \frac{1}{t} \sum_{k=0}^{t-1} \theta_k$作为最终提议分布，以改善收敛性质。
• 利用凸优化与集中不等式的结果，推导估计量期望MSE的非渐近界。

实验结果

研究问题

• RQ1 当同时考虑迭代次数$t$和样本数$N$时，自适应重要性采样器的非渐近均方误差（MSE）收敛速率如何？
• RQ2 当目标分布属于指数族时，OAIS相较于标准重要性采样的性能表现如何？
• RQ3 当目标分布不属于指数族时，收敛速率与渐近误差会发生什么变化？
• RQ4 χ²散度能否作为自适应重要性采样的合理目标函数？最小化它是否能带来最优收敛速率？
• RQ5 参数估计$\theta_t$向最优值$\theta^*$的收敛速率是多少？它如何影响估计量的整体MSE？

主要发现

• OAIS估计量的非渐近均方误差（MSE）被界于$ \frac{c_\phi \rho(\theta_t)}{N} $，其中$ \rho(\theta_t) $为提议分布与目标分布之间的χ²散度。
• 当目标分布属于指数族时，OAIS的L2误差以最优速率$ O(1/\sqrt{N}) $收敛，且在迭代次数$t$上的收敛速率被显式量化为$ O(1/\sqrt{t}) $。
• 当目标分布不属于指数族时，渐近L2误差增加$ \sqrt{\rho^*} > 1 $倍，其中$ \rho^* - 1 $为该目标与任意指数族提议之间的最小χ²散度。
• 平均参数$ \bar{\theta}_t $的期望误差满足$ \mathbb{E}[\rho(\bar{\theta}_t) - \rho^*] \leq \frac{C}{\sqrt{t}} $，其中常数$ C $依赖于初始距离最优解的距离以及梯度估计中的噪声。
• 在适度正则性条件下（包括参数空间的紧致性以及权重函数二阶矩的Lipschitz连续性），参数估计$ \theta_t $收敛至最优$ \theta^* $的保证成立。
• 理论框架为重要性采样中最小化方差的自适应策略提供了支持，表明此类方法在目标分布属于指数族时可实现最优收敛速率$ O(1/\sqrt{N}) $。