[论文解读] Asymptotic optimality of adaptive importance sampling

Bernard Delyon, François Portier|arXiv (Cornell University)|Jun 4, 2018

Mathematical Approximation and Integration参考文献 31被引用 14

一句话总结

本文建立了自适应重要性采样（AIS）的渐近最优性，证明该方法的性能会收敛至从一开始就知晓最优采样分布的“预言者”策略。本文引入加权AIS（wAIS），通过遗忘早期表现差的样本提升收敛性，并在不施加探索与利用之间资源分配限制性假设的前提下，展示了在不同维度和分配策略下理论与实证上的改进。

ABSTRACT

Adaptive importance sampling (AIS) uses past samples to update the extit{sampling policy} $q_t$ at each stage $t$. Each stage $t$ is formed with two steps : (i) to explore the space with $n_t$ points according to $q_t$ and (ii) to exploit the current amount of information to update the sampling policy. The very fundamental question raised in this paper concerns the behavior of empirical sums based on AIS. Without making any assumption on the allocation policy $n_t$, the theory developed involves no restriction on the split of computational resources between the explore (i) and the exploit (ii) step. It is shown that AIS is asymptotically optimal : the asymptotic behavior of AIS is the same as some "oracle" strategy that knows the targeted sampling policy from the beginning. From a practical perspective, weighted AIS is introduced, a new method that allows to forget poor samples from early stages.

研究动机与目标

• 在一般条件下，建立自适应重要性采样（AIS）的理论渐近最优性。
• 在不限制探索与利用之间分配策略 $n_t$ 的前提下，分析AIS中经验和的性质。
• 提出并证明一种新型加权AIS（wAIS）方法，通过遗忘早期低质量样本改善收敛性。
• 证明AIS的性能可与从一开始就知晓最优采样策略的“预言者”策略相媲美。

提出的方法

• AIS被形式化为多阶段算法：在每个阶段 $t$，从当前策略 $q_{t-1}$ 中抽取 $n_t$ 个样本，并使用被积函数的加权和来更新估计值 $I_t$。
• 在每个阶段，通过利用历史样本自适应地更新采样策略 $q_t$，且无需参数化假设。
• 提出加权AIS（wAIS），采用一种重新加权机制，降低早期低质量样本的贡献，以改善收敛性。
• 理论分析表明，AIS的渐近方差与已知最优 $q$ 的“预言者”策略的方差一致。
• 该方法被应用于标准蒙特卡罗积分和贝叶斯估计问题，相应调整了估计器。
• 数值实验采用正态分布目标和t分布提议族，通过基于高斯混合模型（GMM）的规则更新均值，并对比wAIS、标准AIS、自适应MH和“预言者”IS。

实验结果

研究问题

• RQ1 自适应重要性采样是否能达到渐近最优性，即其性能是否可与从一开始就掌握最优采样策略的‘预言者’策略相匹配？
• RQ2 分配策略 $n_t$ 的选择如何影响AIS的收敛性，特别是在 $n_t$ 增长缓慢或不规则时？
• RQ3 一种能遗忘早期低质量样本的加权AIS变体，是否能相比标准AIS实现更优的收敛性与更低的方差？
• RQ4 在高维设置下，AIS的性能如何随维度增加而变化？

主要发现

• AIS具有渐近最优性：其长期行为与从一开始就知晓最优采样策略的‘预言者’策略一致。
• 在数值实验中，加权AIS（wAIS）显著优于标准AIS，尤其在高维和总样本数固定的情况下。
• 实证结果表明，更快的策略更新（更高的 $T$）可带来更优的收敛速率，支持了理论框架中对 $n_t$ 增长无限制的设定。
• 当初始提议尺度固定为 $\sigma_0 = 5$ 时，wAIS的表现优于使用真实 $\sigma_* = 1$ 的‘预言者’方法，表明在实际中最优提议分布并不总是最佳，原因可能是估计不稳定性。
• 该方法在维度 $d = 2, 4, 8, 16$ 下均保持稳健，wAIS在所有维度上均一致优于标准AIS和自适应MH。
• 理论结果无需对 $n_t$ 的增长率做任何假设，验证了在实践中使用非渐近、固定分配策略的合理性。