[论文解读] Bayesian inference via rejection filtering

Nathan Wiebe, Christopher Granade+2 more|arXiv (Cornell University)|Nov 20, 2015

Gaussian Processes and Bayesian Inference参考文献 28被引用 8

一句话总结

本文提出拒绝过滤（rejection filtering），一种内存高效的贝叶斯推断方法，结合拒绝采样与粒子滤波，仅使用恒定数量的样本即可估计后验矩。该方法可在高维场景下实现在线、低内存的推断，并在MNIST数字分类任务中表现出色，即使在特征剪枝后也仅造成极小的准确率损失。

ABSTRACT

We provide a method for approximating Bayesian inference using rejection sampling. We not only make the process efficient, but also dramatically reduce the memory required relative to conventional methods by combining rejection sampling with particle filtering. We also provide an approximate form of rejection sampling that makes rejection filtering tractable in cases where exact rejection sampling is not efficient. Finally, we present several numerical examples of rejection filtering that show its ability to track time dependent parameters in online settings and also benchmark its performance on MNIST classification problems.

研究动机与目标

• 解决传统粒子滤波在内存受限环境（如嵌入式系统和实时控制）中内存与计算需求过高的问题。
• 克服在线贝叶斯推断中使用精确拒绝采样时接受概率呈指数衰减的问题。
• 开发一种可扩展、可并行化的近似贝叶斯推断方法，适用于混合计算与边缘计算平台。
• 通过分析拒绝过滤中的采样频率，实现主动学习与特征选择，识别高维数据中的显著特征。
• 在大幅减少所用特征数量的同时保持高推理准确率，如在MNIST分类任务中所展示。

提出的方法

• 使用拒绝采样从先验分布生成候选样本，并以与似然成比例的概率接受它们，通过缩放常数 $\kappa_E$ 调整以提高接受率。
• 仅保留后验分布的前两个矩（均值 $\mu$ 和协方差 $\Sigma$），避免存储单个粒子。
• 在每次拒绝采样尝试的批次后执行重采样与矩更新，以迭代方式改进后验近似。
• 引入恢复因子 $r$，在无样本被接受时稳定协方差矩阵，防止数值不稳定性。
• 采用批量更新机制（算法2）实现在多个处理节点上的细粒度并行化，提升吞吐量，仅略微增加内存使用。
• 利用采样过程中特征的使用频率，识别并仅保留最具信息量的特征，实现在高维数据中的高效特征选择。

实验结果

研究问题

• RQ1 拒绝过滤是否能显著降低内存使用量，相比标准粒子滤波实现准确的贝叶斯推断？
• RQ2 在严格内存约束下，拒绝过滤在在线、时变推断任务中的表现如何？
• RQ3 拒绝过滤在分析采样频率的基础上，能在多大程度上支持主动学习与特征选择？
• RQ4 在高维数据集（如MNIST）中，剪枝低频特征对分类准确率的影响如何？
• RQ5 拒绝过滤是否能有效并行化，而不会牺牲准确率或使内存使用超出常数倍？

主要发现

• 拒绝过滤通过仅存储后验均值与协方差，将内存使用量减少至恒定数量的样本，使其适用于嵌入式与内存受限系统。
• 即使在移除多达80%使用频率最低的特征后，该方法在MNIST零与一数字分类任务中仍保持超过99%的分类准确率。
• 剪枝低于第36百分位数的特征对分类准确率无显著影响，表明仅一小部分特征对性能至关重要。
• 当仅保留最常采样特征的20%时，分类准确率仍高于99%，证明了通过采样频率实现有效特征选择。
• 该方法通过批量更新实现高效并行化推断，支持在分布式或多核架构上部署，仅带来极小的开销。
• 恢复因子 $r$ 确保在无样本被接受时的数值稳定性，即使在低接受率环境下也能保持后验估计的可靠性。