[论文解读] Efficiency of adaptive importance sampling

Bernard Delyon, François Portier|arXiv (Cornell University)|Jun 4, 2018

Mathematical Approximation and Integration被引用 1

一句话总结

本文证明了自适应重要性采样（AIS）的渐近最优性，表明其经验和收敛至与已知最优采样策略的虚拟策略相同的极限。本文提出了加权AIS，这是一种实用的变体，可在不限制探索与利用之间资源分配的前提下，实现对早期低质量样本的遗忘。

ABSTRACT

Adaptive importance sampling (AIS) uses past samples to update the extit{sampling policy} $q_t$ at each stage $t$. Each stage $t$ is formed with two steps : (i) to explore the space with $n_t$ points according to $q_t$ and (ii) to exploit the current amount of information to update the sampling policy. The very fundamental question raised in this paper concerns the behavior of empirical sums based on AIS. Without making any assumption on the allocation policy $n_t$, the theory developed involves no restriction on the split of computational resources between the explore (i) and the exploit (ii) step. It is shown that AIS is asymptotically optimal : the asymptotic behavior of AIS is the same as some oracle strategy that knows the targeted sampling policy from the beginning. From a practical perspective, weighted AIS is introduced, a new method that allows to forget poor samples from early stages.

研究动机与目标

• 分析自适应重要性采样（AIS）中经验和的渐近行为，且不假设探索与利用之间资源分配的任何特定形式。
• 通过将AIS性能与从一开始就知晓最优采样策略的虚拟策略进行比较，建立AIS的理论最优性。
• 开发一种实用的变体——加权AIS，允许丢弃早期阶段的低质量样本，从而提升效率。
• 消除AIS中对探索与利用之间计算资源分配方式的限制，确保在各种分配策略下均具有鲁棒性。

提出的方法

• AIS以阶段结构组织：在每个阶段$t$，从当前策略$q_t$中抽取$n_t$个样本以实现探索。
• 采样后，利用累积信息更新策略$q_t$，从而实现对所学知识的利用。
• 理论分析表明，AIS的渐近行为与已知最优采样策略的虚拟策略一致。
• 提出加权AIS，引入一种加权机制，以降低早期低质量样本的影响。
• 该方法对任意的分配策略$n_t$具有鲁棒性，允许在探索与利用之间灵活分配计算资源。
• 理论保证在不假设$n_t$具体形式的前提下推导得出，确保方法具有广泛适用性。

实验结果

研究问题

• RQ1 与已知最优采样策略的虚拟策略相比，自适应重要性采样是否具有渐近最优性？
• RQ2 AIS的性能在多大程度上依赖于探索与利用阶段之间计算资源的分配？
• RQ3 能否设计一种AIS的实用变体，有效丢弃早期低质量样本而不降低性能？
• RQ4 在一般且无限制的分配策略$n_t$下，AIS的理论保证可建立为何种形式？
• RQ5 是否可以构建一种加权AIS方法，在保持渐近最优性的同时提升实际效率？

主要发现

• 自适应重要性采样具有渐近最优性：其经验和收敛至与从一开始就知晓最优采样策略的虚拟策略相同的极限。
• 理论框架对探索与利用之间计算资源的分配无任何限制，使该方法在各种资源分布下均具有鲁棒性。
• 提出加权AIS作为实用增强，使系统能够遗忘早期阶段的低质量样本，从而提升收敛速度与效率。
• 在一般条件下，AIS的渐近行为独立于每阶段样本数$n_t$的具体选择。
• 由于加权机制降低了早期样本的长期影响，即使早期样本表现不佳，该方法仍能保持理论最优性。
• 结果在不假设采样策略$q_t$或分配策略$n_t$具体形式的前提下成立，确保了广泛适用性。