[论文解读] A Generalization of the Savage-Dickey Density Ratio for Testing Equality and Order Constrained Hypotheses

Joris Mulder, Eric‐Jan Wagenmakers+1 more|arXiv (Cornell University)|Apr 21, 2020

Statistical Methods in Clinical Trials参考文献 23被引用 6

一句话总结

该论文将Savage-Dickey密度比推广至同时包含等式约束和顺序约束的假设检验，通过MCMC实现高效的贝叶斯因子计算，无需计算边缘似然。该方法允许在受限模型和无约束模型下独立指定先验分布，同时保持计算效率，在多元t检验和多项式模型中通过精确解析与基于模拟的验证得到证实。

ABSTRACT

The Savage-Dickey density ratio is a specific expression of the Bayes factor when testing a precise (equality constrained) hypothesis against an unrestricted alternative. The expression greatly simplifies the computation of the Bayes factor at the cost of assuming a specific form of the prior under the precise hypothesis as a function of the unrestricted prior. A generalization was proposed by Verdinelli and Wasserman (1995) such that the priors can be freely specified under both hypotheses while keeping the computational advantage. This paper presents an extension of this generalization when the hypothesis has equality as well as order constraints on the parameters of interest. The methodology is used for a constrained multivariate t test using the JZS Bayes factor and a constrained hypothesis test under the multinomial model.

研究动机与目标

• 将Savage-Dickey密度比从仅处理等式约束扩展至包含顺序约束的贝叶斯假设检验。
• 在不计算边缘似然的情况下，保持贝叶斯因子估计的计算效率。
• 允许在受限模型与无约束模型下独立指定先验分布，克服原始Savage-Dickey方法的关键局限。
• 为在多元与分类模型中测试复杂约束假设提供实用框架。
• 通过受限多元t检验与多项式模型的应用，结合解析与基于模拟的结果，对方法进行验证。

提出的方法

• 提出广义贝叶斯因子表达式，结合Savage-Dickey密度比与受限模型与无约束模型下先验比的期望。
• 利用MCMC输出估计受限零假设值处的后验与先验密度，实现无需边缘似然的高效计算。
• 在受限多元t检验中应用该方法，采用JZS贝叶斯因子，利用共轭先验与MCMC抽样。
• 通过Dirichlet先验建模受限参数，利用蒙特卡洛抽样计算后验密度，将该方法适配至多项式模型。
• 采用Metropolis-Hastings抽样更新多元模型中的协方差矩阵，确保正定性并高效探索参数空间。
• 将贝叶斯因子计算为零假设点处后验密度与先验密度之比，以及受限模型下先验比的期望之积，同时对顺序约束进行调整。

实验结果

研究问题

• RQ1 Savage-Dickey密度比能否被推广以处理贝叶斯假设检验中的等式与顺序约束？
• RQ2 所提出的方法是否在允许受限与无约束模型下灵活指定先验的同时，保持计算效率？
• RQ3 与解析解相比，该广义方法在多元与多项式模型中计算贝叶斯因子的准确性如何？
• RQ4 在施加顺序约束时，先验依赖对后验推断有何影响？
• RQ5 该方法能否通过MCMC抽样可靠地应用于具有复杂参数约束的真实世界数据？

主要发现

• 广义方法仅通过MCMC输出即可成功计算等式与顺序约束假设的贝叶斯因子，避免了边缘似然的计算需求。
• 受限多元t检验的贝叶斯因子计算结果为Bcu ≈ 0.025，表明对受限假设存在强烈证据反对。
• 在多项式模型中，贝叶斯因子估计为Bcu ≈ 0.0001，表明对受限假设存在极强的反对证据。
• 该方法通过仅在受限零假设值处评估后验与先验密度，保持了计算效率，这些密度值可直接从MCMC样本中获得。
• 先验比的期望通过蒙特卡洛抽样估计，大样本模拟（n = 1e7）确认了收敛性。
• 通过与解析解比较，验证了该方法的准确性与鲁棒性，结果在不同参数配置下均表现一致。