[论文解读] Consistent Adaptive Multiple Importance Sampling and Controlled Diffusions

Sep Thijssen, Hilbert J. Kappen|arXiv (Cornell University)|Mar 21, 2018

Bayesian Methods and Mixture Models参考文献 15被引用 3

一句话总结

本文提出了一种计算效率高、一致的自适应多重重要性采样（AMIS）方法，采用一种新颖的丢弃-重加权方案来采样扩散过程。通过将重加权复杂度从 O(K²M) 降低至 O(KM)，该方法在无限制条件下实现了一致性，且在计算效率上优于平衡启发式方法，同时在数值实验中保持了相近的精度。

ABSTRACT

Recent progress has been made with Adaptive Multiple Importance Sampling (AMIS) methods that show improvement in effective sample size. However, consistency for the AMIS estimator has only been established in very restricted cases. Furthermore, the high computational complexity of the re-weighting in AMIS (called balance heuristic) makes it expensive for applications involving diffusion processes. In this work we consider sequential and adaptive importance sampling that is particularly suitable for diffusion processes. We propose a new discarding-re-weighting scheme that is of lower computational complexity, and we prove that the resulting AMIS is consistent. Using numerical experiments, we demonstrate that discarding-re-weighting performs very similar to the balance heuristic, but at a fraction of the computational cost.

研究动机与目标

• 为解决自适应多重重要性采样（AMIS）中重加权的高计算成本，特别是针对扩散过程的问题。
• 在一般条件下建立 AMIS 的一致性，克服以往在受限情况下的局限性。
• 设计一种重加权方案，在显著降低计算复杂度的同时保持估计器的准确性。
• 通过改进的 AMIS 实现路径积分控制和随机控制问题中的高效顺序采样。

提出的方法

• 提出一种新型的丢弃-重加权方案，其重要性权重计算复杂度为 O(KM)，相比平衡启发式方法的 O(K²M) 显著降低。
• 引入一种顺序 AMIS 框架，通过前序迭代的反馈自适应更新提议分布。
• 利用路径积分控制构建提议测度，通过受控 SDE，其中控制参数化为 u(t,x) = A g(t,x)。
• 使用 Euler-Maruyama 或更高阶格式从受控 SDE 模拟样本路径。
• 通过加权路径贡献增量估计最优控制参数 A_k，权重来源于重要性采样。
• 应用 AMIS 估计器从多轮迭代中的样本中计算 A_k，确保在温和正则性条件下的一致性。

实验结果

研究问题

• RQ1 能否设计一种 AMIS 的重加权方案，在保持估计器一致性的同时降低计算复杂度？
• RQ2 在扩散过程下，丢弃-重加权方法在方差和准确性方面是否与平衡启发式方法表现相当？
• RQ3 所提出的方法能否在涉及扩散的随机控制问题的顺序采样中有效应用？
• RQ4 新方案的计算复杂度是多少？其随提议数和样本数的扩展特性如何？

主要发现

• 丢弃-重加权方案实现了 O(KM) 的计算复杂度，相比平衡启发式方法的 O(K²M) 显著提升。
• 所提出的丢弃-AMIS 估计器在一般条件下被证明具有一致性，无需对提议分布施加限制性假设。
• 数值实验表明，丢弃-重加权在估计器精度和有效样本量方面与平衡启发式方法几乎完全一致。
• 该方法实现了路径积分控制中的高效顺序采样，支持在迭代过程中逐步计算反馈控制 A_k。
• 当使用丢弃-重加权时，算法复杂度为 O(MK)，相比平衡启发式方法的 O(MK²)，使其在大规模问题中更具实用性。