[论文解读] How well does your sampler really work?

Ryan Turner, Brady Neal|arXiv (Cornell University)|Dec 16, 2017

Machine Learning and Data Classification参考文献 19被引用 4

一句话总结

本文提出一种基于真实数据的基准测试方法，用于评估MCMC采样器在实际数据集和模型所生成的后验分布上的表现，通过训练灵活的密度模型（如神经网络）构建逼真的基准分布。核心贡献是一个系统化、可扩展的评估框架，能够揭示采样器的真实有效样本量（ESS）与效率，结果表明NUTS和HMC性能最优，而常见诊断指标（如ESS）往往存在乐观偏差。

ABSTRACT

We present a new data-driven benchmark system to evaluate the performance of new MCMC samplers. Taking inspiration from the COCO benchmark in optimization, we view this task as having critical importance to machine learning and statistics given the rate at which new samplers are proposed. The common hand-crafted examples to test new samplers are unsatisfactory; we take a meta-learning-like approach to generate benchmark examples from a large corpus of data sets and models. Surrogates of posteriors found in real problems are created using highly flexible density models including modern neural network based approaches. We provide new insights into the real effective sample size of various samplers per unit time and the estimation efficiency of the samplers per sample. Additionally, we provide a meta-analysis to assess the predictive utility of various MCMC diagnostics and perform a nonparametric regression to combine them.

研究动机与目标

• 为解决真实贝叶斯推断问题中MCMC采样器缺乏可靠且现实的基准测试问题。
• 用从真实数据集和模型中提取的代表性后验分布替代手工设计的简化问题。
• 量化单位时间内MCMC采样器的真实有效样本量（RESS）与估计效率。
• 评估常见MCMC诊断指标的预测能力，并通过非参数回归方法整合多个诊断指标以提升性能预测准确性。
• 建立一个可扩展、持续演化的基准系统，类似于优化领域的COCO基准，但专为采样方法设计。

提出的方法

• 通过组合真实数据集（如MNIST）与真实模型（如逻辑回归）构建‘数据集的集合’和‘模型库’，生成复杂的后验分布。
• 使用NUTS从每个真实后验中生成长马尔可夫链，作为代理密度模型的训练数据。
• 对NUTS生成的链拟合灵活的无监督密度模型（如高斯混合模型、归一化流），以创建基准示例分布。
• 通过从这些学习到的代理模型中进行精确的独立同分布采样，计算真实有效样本量（ESS）并评估采样器性能。
• 采用高斯过程回归进行元分析，整合MCMC诊断指标（如ESS、Gelman-Rubin、Geweke）以预测ESS偏差。
• 在100多个真实世界示例上评估采样器性能，使用NEES（归一化ESS）和RESS（相对ESS）等指标，链长为15分钟。

实验结果

研究问题

• RQ1 与手工设计的基准相比，常见MCMC采样器在真实数据生成的后验分布上表现如何？
• RQ2 标准MCMC诊断指标（如ESS、Gelman-Rubin）在多大程度上与实际采样效率一致？
• RQ3 结合多种诊断指标的元学习方法能否提升ESS偏差的预测性能？
• RQ4 采样器性能在不同模型与数据复杂度水平下如何变化？
• RQ5 现代采样器（如NUTS、HMC和emcee）在真实问题上的真实有效样本量与估计效率是多少？

主要发现

• NUTS和HMC在高维设置下实现了最高的归一化有效样本量（NESS）与相对ESS（RESS），NEES值超过0.115。
• emcee表现出显著的双峰性能：偶尔可达到高NEES，但成功概率最低（仅38%），在62%的情况下被NUTS超越。
• ESS诊断存在乐观偏差：在均值估计中，真实ESS低于估计ESS的比例为55%；在方差估计中为68%；在KS统计量中高达83%。
• 使用ESS、Gelman-Rubin和维度特征的非参数回归（高斯过程）相比基线模型，将ESS偏差的预测误差降低了2.7%（MSE）和0.0096纳特（log-loss）。
• 在元分析中移除ESS会使预测性能下降最多，表明ESS是预测ESS偏差最具有信息量的单一诊断指标。
• 该基准揭示，随机游走Metropolis和emcee通常无法实现RESS > 1，表明其功能上等价于每条链少于一个独立样本。