[论文解读] Extended BIC for linear regression models with diverging number of relevant features and high or ultra-high feature spaces

Shan Luo, Zehua Chen|arXiv (Cornell University)|Jul 13, 2011

Statistical Methods and Inference参考文献 19被引用 3

一句话总结

本文将贝叶斯信息准则（BIC）扩展至高维或超高维特征空间的线性回归模型，其中相关特征数量随样本量发散。在一般条件下建立了扩展BIC（EBIC）的选择一致性，证明当相关特征数量以 $ O(n^c) $ 的速率增长（$ 0 < c < 1 $）时，即使 $ p = O(n^k) $ 或 $ p = O(e^{n^k}) $，EBIC仍能一致识别出真实模型。

ABSTRACT

In many conventional scientific investigations with high or ultra-high dimensional feature spaces, the relevant features, though sparse, are large in number compared with classical statistical problems, and the magnitude of their effects tapers off. It is reasonable to model the number of relevant features as a diverging sequence when sample size increases. In this article, we investigate the properties of the extended Bayes information criterion (EBIC) (Chen and Chen, 2008) for feature selection in linear regression models with diverging number of relevant features in high or ultra-high dimensional feature spaces. The selection consistency of the EBIC in this situation is established. The application of EBIC to feature selection is considered in a two-stage feature selection procedure. Simulation studies are conducted to demonstrate the performance of the EBIC together with the two-stage feature selection procedure in finite sample cases.

研究动机与目标

• 为解决在高维或超高维线性模型中，相关特征数量发散时缺乏保持选择一致性的模型选择准则的问题。
• 建立在真实特征数量随样本量增加时，扩展BIC（EBIC）仍保持选择一致性的理论条件。
• 将EBIC的适用范围从固定或缓慢增长的相关特征数量，扩展至相关特征数量随样本量多项式或指数增长的场景。
• 为小-$ n $-大-$ p $ 问题中惩罚似然方法的惩罚参数选择提供理论基础。
• 通过两阶段特征选择程序的模拟研究，验证EBIC在有限样本下的性能。

提出的方法

• 提出一种由参数 $ \gamma \in [0,1] $ 索引的BIC扩展版本（EBIC），根据特征数量和可能模型数量的对数来惩罚模型复杂度。
• 在假设相关特征数量 $ p_{0n} = O(n^c) $（$ 0 < c < 1 $）的前提下，推导EBIC的选择一致性，其中 $ p_n $ 随 $ n $ 多项式或指数增长。
• 通过似然比和残差平方和的渐近分析，比较真实模型 $ s_{0n} $ 与任意替代模型 $ s $ 的EBIC值，表明EBIC以趋于1的概率偏好真实模型。
• 应用浓度不等式和卡方尾部界，控制零假设与备择假设下残差平方和的随机行为。
• 引入两阶段特征选择程序：第一阶段通过筛选步骤缩减特征空间；第二阶段使用EBIC从缩减集合中选择最优模型。
• 利用投影矩阵最大特征值和二次型的理论界，控制残差平方和偏离其期望值的偏差。

实验结果

研究问题

• RQ1 在高维或超高维线性模型中，当相关特征数量随样本量发散时，扩展BIC（EBIC）在何种条件下保持选择一致性？
• RQ2 当真实特征数量以 $ O(n^c) $ 的形式增长（$ 0 < c < 1 $）时，EBIC参数 $ \gamma $ 如何影响选择一致性？
• RQ3 当特征数量 $ p_n $ 相对于样本量 $ n $ 以多项式或指数速率增长时，EBIC能否保持选择一致性？
• RQ4 在小-$ n $-大-$ p $ 问题中，当真实特征数量发散时，EBIC与传统准则（如AIC、BIC和CV）相比，在选择一致性方面表现如何？
• RQ5 在两阶段特征选择程序中使用EBIC时，其有限样本性能如何？

主要发现

• 当 $ p_n = O(n^k) $ 或 $ p_n = O(e^{n^k}) $（$ 0 < k < 1 $），且相关特征数量以 $ O(n^c) $ 形式增长（$ 0 < c < 1 $）时，EBIC具有选择一致性，前提是 $ \gamma > \frac{1+\delta}{1-\delta} - \frac{\ln n}{2(1-\delta)\ln p_n} $，其中 $ \delta = \lim \frac{\ln \nu(s)}{\ln p_n} $。
• 在相关特征数量发散的高维设置中，EBIC在选择一致性方面优于传统准则（如AIC、BIC和CV）。
• 即使相关特征数量随样本量增加，EBIC仍能保持选择一致性，而经典BIC或AIC无法保证这一点。
• 模拟研究证实，基于EBIC的两阶段特征选择程序在有限样本中实现了高真正例率和低假正例率。
• 理论分析表明，真实模型与任意替代模型的EBIC值之差以概率趋于无穷，确保了模型选择的一致性。
• 当 $ \gamma = 1 $ 时，EBIC渐近恢复了在遗传QTL定位中使用的mBIC准则，验证了其在知名应用背景下的一致性。