[论文解读] Importance Sampling for rare events and conditioned random walks

Michel Broniatowski, Ya’acov Ritov|ArXiv.org|Oct 9, 2009

Probability and Risk Models参考文献 16被引用 7

一句话总结

本文提出自适应扭曲重要性抽样（ATIS），一种新颖的方案，通过利用条件随机游走的密度，高效估计独立同分布和项中的中等偏差概率。该方法通过近似在最终和条件下路径的分布，实现渐近效率，与标准重要性抽样方法相比，显著降低了方差。

ABSTRACT

This paper introduces a new Importance Sampling scheme, called Adaptive Twisted Importance Sampling, which is adequate for the improved estimation of rare event probabilities in he range of moderate deviations pertaining to the empirical mean of real i.i.d. summands. It is based on a sharp approximation of the density of long runs extracted from a random walk conditioned on its end value.

研究动机与目标

• 改进独立同分布和项在中等偏差区域下罕见事件概率的估计。
• 解决固定样本量设置下渐近近似方法的局限性。
• 开发一种无需事先知晓目标概率的实用且渐近高效的罕见事件重要性抽样方案。
• 利用精确的密度近似，对给定最终和的随机游走路径行为进行建模。

提出的方法

• 提出自适应扭曲重要性抽样（ATIS），利用扭曲参数调整底层随机游走的漂移，使其与罕见事件对齐。
• 利用大偏差理论和Laplace方法近似，推导给定最终和的部分路径密度。
• 采用调参机制，根据前k步观测到的经验和自适应调整扭曲参数。
• 使用测度变换技术定义重要性抽样密度g，确保似然比表现良好且可计算。
• 通过矩生成函数对最终和进行条件化，推导最优扭曲参数。
• 通过模拟和渐近分析验证该方案，表明IS估计量在最小方差下收敛于真实概率。

实验结果

研究问题

• RQ1 能否设计一种实用的重要性抽样方案，以在不了解目标概率的前提下，高效估计独立同分布和项的中等偏差概率？
• RQ2 如何精确近似条件随机游走的路径分布，以指导重要性抽样密度的选择？
• RQ3 在中等偏差区域下，使方差最小化的IS密度最优扭曲参数是什么？
• RQ4 所提出的ATIS方案是否在估计罕见事件概率时实现渐近效率？
• RQ5 在有限样本设置下，ATIS的性能与标准IS和渐近近似方法相比如何？

主要发现

• ATIS方案实现了渐近效率，即IS估计量的相对误差随着样本量增加而收敛于零。
• 该方法对给定最终和的部分路径条件密度提供了精确近似，从而实现准确的路径抽样。
• 模拟结果表明，ATIS在中等偏差区域下显著优于标准IS和渐近近似方法。
• 即使在中等样本量下，罕见事件的概率也能被高精度估计，而此时渐近展开方法失效。
• 该算法在多种分布（正态分布、指数分布）下表现稳健，显示出广泛适用性。
• 在正则性条件下，IS估计量的收敛性得到保证，且在IS测度下条件集合的概率趋近于1。