[论文解读] Consistency of the Adaptive Multiple Importance Sampling

Jean‐Michel Marin, Pierre Pudlo+1 more|arXiv (Cornell University)|Nov 12, 2012

Bayesian Methods and Mixture Models参考文献 15被引用 26

一句话总结

本文通过证明在对学习过程进行轻微修改后，自适应多重重要性采样（AMIS）算法的估计器几乎必然收敛，建立了该算法的理论一致性。作者表明，随着每次迭代样本量的增加并采用适当的加权方式，AMIS 可收敛至真实目标分布，从而解决了自适应蒙特卡洛方法中一个关键的开放问题。

ABSTRACT

Among Monte Carlo techniques, the importance sampling requires fine tuning of a proposal distribution, which is now fluently resolved through iterative schemes. The Adaptive Multiple Importance Sampling (AMIS) of Cornuet et al. (2012) provides a significant improvement in stability and effective sample size due to the introduction of a recycling procedure. However, the consistency of the AMIS estimator remains largely open. In this work we prove the convergence of the AMIS, at a cost of a slight modification in the learning process. Contrary to Douc et al. (2007a), results are obtained here in the asymptotic regime where the number of iterations is going to infinity while the number of drawings per iteration is a fixed, but growing sequence of integers. Hence some of the results shed new light on adaptive population Monte Carlo algorithms in that last regime.

研究动机与目标

• 建立自适应多重重要性采样（AMIS）算法的理论一致性，尽管该算法在实践中已取得成功，但其理论一致性此前尚未得到证明。
• 解决由于长期记忆依赖性以及复用历史样本导致的加权偏差，从而在 AMIS 中缺乏收敛性保证的问题。
• 在迭代次数趋于无穷且每次迭代样本量增长的渐近情形下，为 AMIS 提供严格的渐近理论依据。
• 提出一种修改后的学习过程，确保估计器几乎必然收敛至真实目标分布。
• 在每次迭代样本量增长的渐近框架下，深化对自适应群体蒙特卡洛方法的理论理解。

提出的方法

• 提出一种修改后的 AMIS 算法，其中在第 $ t+1 $ 次迭代的参数更新仅基于最新一轮的样本 $ X^t_1, \ldots, X^t_{N_t} $，而非所有历史样本。
• 采用三角阵列框架分析粒子加权和，将迭代序列视为非独立同分布的抽样过程。
• 在给定条件独立性和加权粒子的紧致性条件下，应用三角阵列的强大数定律。
• 采用一种修改后的重要性权重公式，通过所有历史迭代中提议密度的加权和来归一化过去粒子的贡献。
• 对 $ N_t $ 的增长速率施加条件，要求 $ \sum_t 1/N_t < \infty $，以通过切比雪夫不等式控制方差。
• 依赖于提议测度下比率 $ \pi(x)\|h(x)\| / q(x,\theta) $ 的二阶矩有限性假设，以控制收敛性。

实验结果

研究问题

• RQ1 在修改后的学习规则下，自适应多重重要性采样（AMIS）算法是否几乎必然收敛至真实目标分布？
• RQ2 在迭代次数增加且每次迭代样本量增长的渐近情形下，能否为 AMIS 建立理论一致性？
• RQ3 为确保 AMIS 估计器收敛，对样本量 $ N_t $ 的增长速率需要施加何种条件？
• RQ4 复用历史样本如何影响 AMIS 估计器的偏差与收敛性质？
• RQ5 三角阵列的理论框架能否应用于证明具有依赖样本的自适应蒙特卡洛方法的收敛性？

主要发现

• 在较弱的正则性条件下，修改后的 AMIS 算法可实现估计器对真实目标分布的几乎必然收敛。
• 该证明依赖于条件独立的随机向量三角阵列的强大数定律，且其矩量受到控制。
• 条件 $ \sum_t 1/N_t < \infty $ 足以确保收敛，尽管在实际中可能具有一定的限制性。
• 作者证明了修改后的 AMIS 估计器对满足正则性与矩条件的广泛类别的泛函是一致的。
• 理论结果为在每次迭代样本量增长的渐近框架下，自适应群体蒙特卡洛算法的收敛行为提供了新的洞见。
• 本文证明，尽管复用历史样本会引入长期记忆依赖性，但只要对学习过程稍作修改，仍可保证收敛。