[论文解读] Mixtures of g-Priors for Generalised Additive Model Selection with Penalised Splines

Daniel Sabanés Bové, Leonhard Held+1 more|arXiv (Cornell University)|Aug 17, 2011

Bayesian Methods and Mixture Models参考文献 61被引用 4

一句话总结

本文提出了一种基于惩罚样条的g-先验混合的客观贝叶斯方法，用于广义可加模型中的变量和函数选择。通过将模型参数的连续g-先验混合与模型上的多重性校正先验相结合，该方法在保持计算效率和模型选择一致性的同时，实现了协变量和光滑变换的自动选择。

ABSTRACT

We propose an objective Bayesian approach to the selection of covariates and their penalised splines transformations in generalised additive models. Specification of a reasonable default prior for the model parameters and combination with a multiplicity-correction prior for the models themselves is crucial for this task. Here we use well-studied and well-behaved continuous mixtures of g-priors as default priors. We introduce the methodology in the normal model and extend it to non-normal exponential families. A simulation study and an application from the literature illustrate the proposed approach. An efficient implementation is available in the R-package "hypergsplines".

研究动机与目标

• 开发一种客观贝叶斯框架，用于广义可加模型（GAMs）中同时进行变量和函数选择。
• 通过将惩罚样条与支持收缩和模型平均的客观先验相结合，解决GAMs中的模型不确定性问题。
• 通过使用经过充分研究的连续g-先验混合（超-g先验）作为默认先验，确保一致的模型选择和可靠的推断。
• 将超-g先验的应用——此前仅用于线性模型——扩展至非正态指数族和具有惩罚样条的半参数模型。
• 提供一种计算高效的实现，通过利用精度矩阵结构和低维Cholesky分解，避免昂贵的矩阵分解。

提出的方法

• 为模型特定参数使用g-先验的连续混合作为默认先验，通过为g引入超先验，将g视为随机变量，以解决信息悖论。
• 对跨模型共享的参数使用非信息性不当先验，对模型特定系数使用适当的超-g先验。
• 通过截断多项式基表示光滑效应，通过在样条系数上施加方差按ρj缩放的正态先验来实现收缩。
• 利用从超-g先验推导出的闭式表达式构建边际似然，实现一致的模型选择和预测。
• 通过精度矩阵恒等式实现高效计算：V_d^{-1} = I_n - Z_d M_d^{-1} Z_d^T，其中M_d = Z_d^T Z_d + D_d^{-1}，从而降低计算复杂度。
• 在较小的JK×JK矩阵（而非完整的n×n协方差矩阵）上进行LU和Cholesky分解，显著提升可扩展性。

实验结果

研究问题

• RQ1 如何将客观贝叶斯方法扩展至广义可加模型中同时进行变量和函数选择？
• RQ2 g-先验混合是否能在具有惩罚样条的GAMs中实现一致且可靠的模型选择，同时保持计算可行性？
• RQ3 使用超-g先验——特别是Liang等人（2008）的公式——对非高斯指数族中的模型选择性能有何影响？
• RQ4 如何通过高效的矩阵代数和精度矩阵表示来缓解高维GAMs中的计算瓶颈？
• RQ5 在模拟和真实世界场景中，该方法在变量选择准确性和模型拟合方面相较于现有方法的优越程度如何？

主要发现

• 所提出的方法通过使用经过充分研究的超-g先验，实现了稳定的模型选择和模型平均预测，这些先验在高斯线性模型中表现优异。
• 该方法成功地将超-g先验扩展至具有惩罚样条的广义可加模型，实现了半参数设置下的客观贝叶斯推断。
• 通过避免对n×n协方差矩阵进行完整的Cholesky分解，计算效率显著提高，转而处理更小的JK×JK矩阵M_d。
• 该方法可自动选择协变量（通过d_j = 0）及其函数形式（通过d_j = K表示非线性效应），其中d_j ∈ {0,1,…,K}表示样条基的维度。
• 模拟研究和真实世界应用表明，该方法能够正确识别相关协变量和光滑效应，同时有效控制过拟合。
• 提供了一个高效的R包‘hypergsplines’，支持实际应用，实现可重现且可扩展的贝叶斯GAM选择。