[论文解读] Pareto Smoothed Importance Sampling

Aki Vehtari, Simpson, Daniel+3 more|arXiv (Cornell University)|Jul 9, 2015

Probabilistic and Robust Engineering Design参考文献 36被引用 228

一句话总结

本文提出了帕累托平滑重要性采样（PSIS），一种通过将广义帕累托分布（GPD）拟合到重要性比率的上尾来稳定重要性采样估计的方法，从而降低方差并改善有限样本下的收敛性。其主要贡献是提出了一种稳健的 $\hat{k}$ 诊断方法，用于评估估计器的可靠性，并实现具有有限方差和可靠误差估计的高维贝叶斯计算。

ABSTRACT

Importance weighting is a general way to adjust Monte Carlo integration to account for draws from the wrong distribution, but the resulting estimate can be highly variable when the importance ratios have a heavy right tail. This routinely occurs when there are aspects of the target distribution that are not well captured by the approximating distribution, in which case more stable estimates can be obtained by modifying extreme importance ratios. We present a new method for stabilizing importance weights using a generalized Pareto distribution fit to the upper tail of the distribution of the simulated importance ratios. The method, which empirically performs better than existing methods for stabilizing importance sampling estimates, includes stabilized effective sample size estimates, Monte Carlo error estimates, and convergence diagnostics. The presented Pareto $\hat{k}$ finite sample convergence rate diagnostic is useful for any Monte Carlo estimator.

研究动机与目标

• 解决重要性比率具有重尾时重要性采样不稳定的問題，尤其是在高维设置下。
• 开发一种方法，确保自归一化重要性采样估计器具有有限方差和稳定收敛性。
• 引入一种诊断工具（$\hat{k}$），用于评估任何蒙特卡洛估计器的有限样本收敛速率。
• 为高维贝叶斯推断提供一种实用且可扩展的解决方案，特别是在留一法交叉验证中。
• 在不依赖目标分布尾部行为先验知识的前提下，提高重要性采样的可靠性与误差评估能力。

提出的方法

• 将广义帕累托分布（GPD）拟合到重要性比率经验分布的上尾，以平滑极端值。
• 用拟合GPD的随机抽样替代极端重要性比率，从而在保持极限无偏性的同时降低方差。
• 使用拟合GPD的形状参数 $\hat{k}$ 作为收敛速率和估计器可靠性的诊断指标。
• 将PSIS应用于自归一化和普通重要性采样，且该诊断方法适用于任何蒙特卡洛估计器。
• 利用 $\hat{k}$ 诊断指导模型选择、自适应重要性采样以及序列蒙特卡洛中的再生。
• 在 loo R 包和 Python 中的 ArviZ/Pyro 等广泛使用的工具中实现PSIS，推动其在贝叶斯计算中的广泛应用。

实验结果

研究问题

• RQ1 当标准估计器因重尾比率导致无限方差时，能否在高维设置下稳定重要性采样？
• RQ2 如何开发一种可靠的诊断方法，用于评估蒙特卡洛估计器的有限样本收敛速率？
• RQ3 与截断或其它权重修改方法相比，帕累托平滑在降低方差和提高稳定性方面有多大改善？
• RQ4 $\hat{k}$ 诊断能否有效用于比较提议分布或指导自适应采样策略？
• RQ5 PSIS 是否在保持一致性和有限方差的同时，提升了实际贝叶斯推断任务中的实用性能？

主要发现

• PSIS 即使在标准重要性采样因重尾比率而失效时，也能产生一致且具有有限方差的估计器。
• $\hat{k}$ 诊断能有效识别不稳定估计器，其中 $\hat{k} < 0.7$ 表示可靠性能，$\hat{k} > 1$ 表示潜在失败。
• PSIS 在偏差和方差方面均优于基于截断的方法（如 TIS），尤其在高维问题中表现更优。
• 该方法实现了稳定、高维的留一法交叉验证，成为广泛使用的 loo R 包的基础，下载量已超过两百万次。
• PSIS 与 $\hat{k}$ 诊断已成功应用于自适应重要性采样、序列蒙特卡洛和粒子滤波，提升了收敛性并降低了计算成本。
• 实证结果表明，即使比率具有有限方差但在实践中方差很高，采用 $\hat{k}$ 诊断的 PSIS 也能带来比标准重要性采样更可靠的推断。