[论文解读] Leave Pima Indians alone: binary regression as a benchmark for Bayesian computation

Nicolás Chopin, James Ridgway|arXiv (Cornell University)|Jun 29, 2015

Markov Chains and Monte Carlo Methods参考文献 51被引用 50

一句话总结

本文批评了在贝叶斯计算中使用小型二元回归数据集（如皮马印第安人糖尿病数据集）作为基准的作法，认为这些数据集过于简单，无法有效评估现代算法。文章在不同数据集规模下对比了基于采样的方法（MCMC、SMC）与确定性近似方法（Laplace、EP、VB），发现对于小样本数据，基础方法往往优于复杂算法；而在高维（$p$ 较大）问题中，现有方法的局限性暴露无遗。文章呼吁采用更大、更真实的基准数据集以实现更公平的算法评估。

ABSTRACT

Abstract. Whenever a new approach to perform Bayesian computation is introduced, a common practice is to showcase this approach on a binary regression model and datasets of moderate size. This paper discusses to which extent this practice is sound. It also reviews the current state of the art of Bayesian computation, using binary regression as a running example. Both sampling-based algorithms (importance sampling, MCMC and SMC) and fast approximations (Laplace and EP) are covered. Extensive numerical results are provided, some of which might go against conventional wisdom regarding the effectiveness of certain algorithms. Implications for other problems (variable selection) and other models are also discussed.

研究动机与目标

• 评估使用小型二元回归数据集（如皮马印第安人数据集）作为贝叶斯计算基准的有效性。
• 比较基于采样（MCMC、SMC）与确定性近似（Laplace、EP、VB）方法在二元回归模型上的性能表现。
• 评估在不同数据规模和维度下（尤其是高维情形，$p > 100$）哪些算法在有效性、效率和鲁棒性方面表现最佳。
• 挑战为每个数据集手动调参的常见做法，倡导开发可推广的、自动化的调参规则。
• 推动向更大、更真实的数据库转变，并强调并行化与快速近似在现代贝叶斯计算中的重要性。

提出的方法

• 采用具有已知似然与先验的二元回归模型（logit 与 probit），以皮马印第安人数据集为基线，扩展至包含 100 多个协变量的大规模数据集。
• 对比多种贝叶斯计算方法：重要性采样、MCMC（含随机游走 Metropolis 与 HMC）、SMC、Laplace 近似、EP 与变分贝叶斯（VB）。
• 将 EP 用作 SMC 和重要性采样的提议分布，实现高效后验近似，并通过 SMC 评估误差。
• 采用通用的参数调优方案（如 Metropolis 的步长、HMC 的质量矩阵）以避免对每个数据集进行手动校准。
• 基于误差与 CPU 时间的权衡、可实现性、通用性与并行化潜力对方法进行评估。
• 通过在多个规模递增、维度递增的数据集上进行数值实验，评估相对性能与可扩展性。

实验结果

研究问题

• RQ1 皮马印第安人糖尿病数据集是否适合作为评估新型贝叶斯计算算法的有效基准？
• RQ2 在二元回归模型中，基于采样的方法（MCMC、SMC）与确定性近似方法（Laplace、EP、VB）在准确性和效率方面如何比较？
• RQ3 在自动调参条件下，HMC 或 SMC 等高级算法在小样本数据上的性能是否显著优于随机游走 Metropolis 等简单方法？
• RQ4 EP 或 Laplace 等快速近似方法在通过更优的初始化或提议分布提升基于采样的算法性能方面，其改善程度如何？
• RQ5 协变量空间的维度（$p$）如何影响不同贝叶斯计算方法的可扩展性与性能表现？

主要发现

• 皮马印第安人数据集（8 个协变量）规模过小，无法有效用于贝叶斯计算算法的基准测试，因为即使是最基础的随机游走 Metropolis 方法在该数据上也优于更复杂的算法。
• 当协变量数量超过 100 时，大多数贝叶斯计算方法在计算上变得不可行，表明 $p^3$ 的复杂度是主要瓶颈。
• 期望传播（EP）在所有确定性近似方法中表现最优，其理论误差率可达 $\mathcal{O}(n_{\mathcal{D}}^{-2})$，解释了其出色的实证表现。
• 将 EP 用作 SMC 或重要性采样的提议分布，可实现高度高效的后验近似，常使 SMC 退化为单步重要性采样，且方差极低。
• 当使用 EP 进行恰当校准时，随机游走 Metropolis 在高维数据上表现出乎意料地优秀，且实现简单，挑战了 HMC 在此类场景中的主导地位。
• 本文结论认为当前基准过于简单，建议采用 $p > 100$ 的更大数据集，并将经过适当调优的随机游走 Metropolis 作为公平比较的基线。