[论文解读] The reproducing Stein kernel approach for post-hoc corrected sampling

Liam Hodgkinson, Robert Salomone+1 more|arXiv (Cornell University)|Jan 25, 2020

Markov Chains and Monte Carlo Methods参考文献 71被引用 12

一句话总结

本论文提出了一套理论框架，用于对未调整马尔可夫链生成的样本进行后处理校正，采用再生 Stein 核实现 Stein 重要性采样，证明了即使在链存在偏差或不变测度未知的情况下，该方法仍具有一致性。研究证明，使用再生 Stein 核可实现核化 Stein 散度及相关度量的收敛性，并在几何遍历性条件下获得可证明的收敛速率，使其适用于高维及子采样场景。

ABSTRACT

Stein importance sampling is a widely applicable technique based on kernelized Stein discrepancy, which corrects the output of approximate sampling algorithms by reweighting the empirical distribution of the samples. A general analysis of this technique is conducted for the previously unconsidered setting where samples are obtained via the simulation of a Markov chain, and applies to an arbitrary underlying Polish space. We prove that Stein importance sampling yields consistent estimators for quantities related to a target distribution of interest by using samples obtained from a geometrically ergodic Markov chain with a possibly unknown invariant measure that differs from the desired target. The approach is shown to be valid under conditions that are satisfied for a large number of unadjusted samplers, and is capable of retaining consistency when data subsampling is used. Along the way, a universal theory of reproducing Stein kernels is established, which enables the construction of kernelized Stein discrepancy on general Polish spaces, and provides sufficient conditions for kernels to be convergence-determining on such spaces. These results are of independent interest for the development of future methodology based on kernelized Stein discrepancies.

研究动机与目标

• 建立在未调整马尔可夫链样本上应用 Stein 重要性采样的通用理论基础，尤其针对不变测度未知或错误的情形。
• 证明当底层马尔可夫链存在偏差或满足几何遍历性时，Stein 重要性采样仍能生成目标期望的一致估计量。
• 在波兰空间上建立再生 Stein 核的一般理论，使核化 Stein 散度的构造可超越指数族分布。
• 展示该方法在数据子采样下的鲁棒性，支持其在大规模贝叶斯推断中的实际应用。
• 证明在适当条件下，核化 Stein 散度的收敛性可推出其他散度度量（如 MMD）的收敛性。

提出的方法

• 该方法基于目标分布 π 构造一个再生 Stein 核，以定义核化 Stein 散度（KSD），用于度量经验分布与目标分布之间的距离。
• 通过求解一个约束二次规划问题，计算非负权重，使加权经验分布与 π 之间的 KSD 最小化，从而保证结果为合法的概率测度。
• 该方法作为后处理校正手段：无需修改采样算法，仅需对已有样本进行重加权。
• 理论保证基于对马尔可夫链几何遍历性及漂移条件的假设，确保加权经验测度收敛于 π。
• 通过确保采样过程中使用的子采样梯度与 Stein 核计算中使用的梯度相互独立，将方法推广至子采样场景。
• 发展了一套通用的再生 Stein 核理论，为核在一般波兰空间上的收敛决定性提供了充分条件。

实验结果

研究问题

• RQ1 当未调整 MCMC 算法的样本来自不变测度未知的马尔可夫链时，Stein 重要性采样能否实现一致校正？
• RQ2 在何种条件下，Stein 重要性采样能在核化 Stein 散度及相关度量（如 MMD）下实现收敛？
• RQ3 在较弱正则性条件下，KSD 的收敛性质能否传递至其他散度度量（如 MMD）？
• RQ4 该方法在采样与核计算中均采用数据子采样时是否具有鲁棒性，且能否保持一致性？
• RQ5 在何种一般条件下，核与状态空间的设定可确保再生 Stein 核在任意波兰空间上诱导出收敛决定性散度？

主要发现

• 即使样本来自具有可能未知或错误不变测度的几何遍历马尔可夫链，Stein 重要性采样仍能实现目标期望的一致估计。
• 在定理 1 的条件下，该方法在核化 Stein 散度下表现出 O(n⁻¹/²) 的收敛速率，与独立同分布采样具有一致的参数收敛速率。
• KSD 的收敛性可推出 MMD 的收敛性，表明该校正方法在多种散度度量下均能提升性能。
• 对于使用子采样梯度的 TULA 算法，当子采样核与采样梯度相互独立时，Stein 重要性采样仍保持一致性，支持可扩展推断。
• 在实践中，IMQ 基核的表现优于高斯核，其收敛速率和性能优于未调整样本，甚至在样本足够多时超越精确的 iid 采样在 MMD 指标上的表现。
• 该理论框架证明了再生 Stein 核在一般波兰空间上具有收敛决定性，使其应用范围可超越指数族分布。