[论文解读] A Bayes factor with reasonable model selection consistency for ANOVA model

Yuzo Maruyama|arXiv (Cornell University)|Jun 23, 2009

Statistical Methods in Clinical Trials参考文献 12被引用 15

一句话总结

本文提出了一种基于 g-先验的贝叶斯因子，用于单因素方差分析，在 $p$（组数）和/或平均重复次数 $\bar{r}$ 趋于无穷的两种渐近情形下均实现了模型选择一致性。与在 $\bar{r}$ 缓慢增长时失效的 BIC 不同，该贝叶斯因子即使在 $p \to \infty$ 且 $\bar{r}$ 缓慢增加时仍保持一致，其关键在于在特定先验选择下实现了精确的解析边缘密度计算。

ABSTRACT

For the ANOVA model, we propose a new g-prior based Bayes factor without integral representation, with reasonable model selection consistency for any asymptotic situations (either number of levels of the factor and/or number of replication in each level goes to infinity). Exact analytic calculation of the marginal density under a special choice of the priors enables such a Bayes factor.

研究动机与目标

• 解决在组数 $p$ 增长且平均重复次数 $\bar{r}$ 缓慢增加的高维方差分析设置中 BIC 的不一致性问题。
• 在 $p \to \infty$ 和 $\bar{r} \to \infty$ 的双重渐近情形下，开发具有模型选择一致性的贝叶斯因子，包括 $\bar{r}$ 增长慢于 $p$ 的情况。
• 推导在特定 g-先验下边缘似然的精确解析表达式，避免使用数值积分。
• 证明所提出的贝叶斯因子即使在真实效应大小较小时且 $p$ 较大时，仍能保持一致性。

提出的方法

• 将单因素方差分析模型重表述为使用中心化设计矩阵 $\tilde{\bm{X}}_A$ 的线性回归模型。
• 对回归系数施加 g-先验，并选择特定的 $g$ 值，以实现边缘似然的精确解析计算。
• 将贝叶斯因子定义为在 $\mathcal{M}_1$ 和 $\mathcal{M}_{A+1}$ 下边缘密度的比值，得到闭式表达式 $\mathrm{BF}^{F}_{(A+1):1} = \frac{\Gamma(p/2)\Gamma((n-p)/2)}{\Gamma(1/2)\Gamma((n-1)/2)} \left(1 + \frac{W_H}{W_E}\right)^{(n-p-1)/2}$。
• 利用斯特林公式和渐近分析，评估该贝叶斯因子在各种大样本渐近情形下的行为。
• 通过定义类似的平方和，将该方法扩展至双因素方差分析，并在 $p$、$q$ 和 $\bar{r}$ 联合渐近下分析一致性。
• 定义效应大小度量 $\tilde{c}_A$、$\tilde{c}_B$ 和 $\tilde{c}_{AB\setminus(A+B)}$，以量化在渐近极限下的信号强度。

实验结果

研究问题

• RQ1 当 $p \to \infty$ 且 $\bar{r}$ 缓慢增长时，所提出的贝叶斯因子是否仍能保持模型选择一致性？
• RQ2 当 $p$ 增加时，即使 $\bar{r}$ 有界，该贝叶斯因子在零假设模型 $\mathcal{M}_1$ 下的行为如何？
• RQ3 当真实效应大小较小但为正时，该贝叶斯因子能否一致地选择出备择模型 $\mathcal{M}_{A+1}$？
• RQ4 在高维方差分析设置下，该贝叶斯因子与 BIC 和 GBIC 相比表现如何？
• RQ5 在 $\bar{r}$ 和 $p$ 的何种条件下，该贝叶斯因子在双因素方差分析中仍能保持一致性？

主要发现

• 所提出的贝叶斯因子 $\mathrm{BF}^{F}_{(A+1):1}$ 在 $\mathcal{M}_{A+1}$ 下一致，当 $p$ 和 $\bar{r}$ 同时趋于无穷大时，即使 $\bar{r}$ 的增长慢于 $p$ 的任意幂次。
• 在 CASE I（$p \to \infty$，$\bar{r}$ 有界）下，当真实效应大小 $c_A$ 较小时，贝叶斯因子不一致，具体为当 $c_A < h(\bar{r}) = \bar{r}^{1/(\bar{r}-1)} - 1$ 时，而 $h(\bar{r})$ 随 $\bar{r} \to \infty$ 趋近于 0。
• 若 $\tilde{c}_A > h(\bar{r})$，则贝叶斯因子在 $\mathcal{M}_{A+1}$ 下一致，其中 $\tilde{c}_A$ 衡量了相对信号强度。
• 相比之下，BIC 在 $p$ 的增长速度快于 $e(1+\tilde{c}_A)^{\bar{r}} / \bar{r}$ 时，即使 $\bar{r} \to \infty$，也表现出不一致性，揭示了其在高维设置下的根本局限性。
• 对于双因素方差分析，贝叶斯因子 $\mathrm{BF}^{F}_{(A+1)(B+1):1}$ 在满足 $\frac{(1+\tilde{c}_{AB\setminus(A+B)})^{\bar{r}}}{\bar{r}} > 1 + \tilde{c}_A + \tilde{c}_B + \tilde{c}_{AB\setminus(A+B)}$ 时保持一致。
• 在特殊 g-先验下，边缘似然的精确解析形式使得模型选择具有一致性，而无需依赖拉普拉斯近似或数值积分。