[论文解读] Importance Sampling: Computational Complexity and Intrinsic Dimension

Sergios Agapiou, Omiros Papaspiliopoulos+2 more|arXiv (Cornell University)|Nov 19, 2015

Gaussian Processes and Bayesian Inference参考文献 3被引用 19

一句话总结

本文提出了一套统一框架，通过将重要性采样计算复杂度与底层测度的固有维数联系起来，实现对其分析。它表明，提议分布与目标分布之间的差异——通过固有维数量化——决定了采样效率，为从业者提供了一种系统性方法，用以判断重要性采样何时会成功或失败。

ABSTRACT

The basic idea of importance sampling is to use independent samples from one measure in order to approximate expectations with respect to another measure. Understanding how many samples are needed is key to understanding the computational complexity of the method, and hence to understanding when it will be effective and when it will not. It is intuitive that the size of the difference between the measure which is sampled, and the measure against which expectations are to be computed, is key to the computational complexity. An implicit challenge in many of the published works in this area is to find useful quantities which measure this difference in terms of parameters which are pertinent for the practitioner. The subject has attracted substantial interest recently from within a variety of communities. The objective of this paper is to overview and unify the resulting literature in the area by creating an overarching framework. The general setting is studied in some detail, followed by deeper development in the context of Bayesian inverse problems and filtering.

研究动机与目标

• 通过识别共同的理论基础，统一重要性采样领域的零散文献。
• 以可度量、与从业者相关的参数为依据，量化重要性采样的计算复杂度。
• 确立固有维数作为预测采样效率的关键指标。
• 将该框架应用于贝叶斯反问题和滤波问题，其中重要性采样被广泛使用。
• 为理解重要性采样何时变得计算不可行提供理论基础。

提出的方法

• 提出一个通用的理论框架，从提议分布与目标分布之间差异的角度分析重要性采样。
• 引入固有维数作为概率测度之间差异的几何度量。
• 使用Kullback-Leibler散度及相关信息论量来表征采样复杂度。
• 通过分析后验分布的几何结构，将该框架应用于贝叶斯反问题。
• 将分析扩展至滤波问题，特别是序列重要性采样，使用相同的固有维数量度。
• 推导出有效样本量随维度指数级退化的条件，将其与固有维数联系起来。

实验结果

研究问题

• RQ1 如何以可度量、可解释的参数为依据，量化重要性采样的计算复杂度？
• RQ2 测度差异的固有维数在决定采样效率方面发挥什么作用？
• RQ3 在哪些场景下——尤其是贝叶斯反问题和滤波问题中——重要性采样变得不可行？
• RQ4 提议分布与目标分布之间的差异如何与准确估计所需的样本数量相关联？
• RQ5 固有维数能否作为不同应用场景下重要性采样性能的可靠预测指标？

主要发现

• 重要性采样的计算复杂度从根本上由提议分布与目标分布之间差异的固有维数决定。
• 当固有维数较高时，准确估计所需的样本数量呈指数级增长，导致重要性采样不可行。
• 该框架为判断即使在提议分布选择得当时，因固有维数过高而导致重要性采样失败提供了系统性依据。
• 在贝叶斯反问题中，后验相对于先验的固有维数决定了重要性采样的可扩展性。
• 在滤波问题中，似然与先验组合的固有维数决定了随时间推移的有效样本量。
• 结果表明，仅依靠传统的Kullback-Leibler散度等度量不足以预测性能；固有维数提供了更具信息量的指标。