[论文解读] Fully Bayesian Classification with Heavy-tailed Priors for Selection in High-dimensional Features with Grouping Structure

Lai Jiang, Longhai Li+1 more|arXiv (Cornell University)|Jul 1, 2016

Statistical Methods and Inference参考文献 44被引用 3

一句话总结

该论文提出FBRHT，一种完全贝叶斯罗比特回归方法，采用重尾先验分布进行高维特征选择，能自动识别稀疏且具有预测能力的特征子集，同时处理分组的、相关的特征，而无需预设的分组结构。与LASSO、组LASSO及其他方法相比，FBRHT在实现相当或更优预测性能的同时，显著减少了特征数量，尤其在真实世界基因表达数据中表现突出。

ABSTRACT

Feature selection is demanded in many modern scientific research problems that use high-dimensional data. A typical example is to find the most useful genes that are related to a certain disease (eg, cancer) from high-dimensional gene expressions. The expressions of genes have grouping structures, for example, a group of co-regulated genes that have similar biological functions tend to have similar expressions. Many statistical methods have been proposed to take the grouping structure into consideration in feature selection, including group LASSO, supervised group LASSO, and regression on group representatives. In this paper, we propose a fully Bayesian Robit regression method with heavy-tailed (sparsity) priors (shortened by FBRHT) for selecting features with grouping structure. The main features of FBRHT include that it discards more aggressively unrelated features than LASSO, and it can make feature selection within groups automatically without a pre-specified grouping structure. In this paper, we use simulated and real datasets to demonstrate that the predictive power of the sparse feature subsets selected by FBRHT are comparable with other much larger feature subsets selected by LASSO, group LASSO, supervised group LASSO, penalized logistic regression and random forest, and that the succinct feature subsets selected by FBRHT have significantly better predictive power than the feature subsets of the same size taken from the top features selected by the aforementioned methods.

研究动机与目标

• 解决在具有内在分组或相关结构的高维数据中选择稀疏、具有预测能力的特征子集的挑战。
• 通过使用完全贝叶斯框架与MCMC采样，克服非凸惩罚方法在优化不稳定性和可扩展性差方面的局限。
• 在无需预设分组结构的情况下，自动实现组内特征选择，利用特征间的相关结构自然完成。
• 在保持显著更稀疏特征子集的同时，提升对LASSO、组LASSO和随机森林等现有方法的预测性能。
• 开发一种稳健、稳定的算法，结合重尾先验的稀疏诱导特性与贝叶斯推断的可解释性。

提出的方法

• FBRHT采用完全贝叶斯罗比特回归模型，并使用重尾先验（如拉普拉斯分布、类似霍希尔的先验）以在系数估计中诱导稀疏性。
• 通过马尔可夫链蒙特卡洛（MCMC）采样探索系数的后验分布，实现不确定性量化和鲁棒的特征选择。
• 该方法通过利用特征间的相关性，即使在无预定义分组结构的情况下，也能自动完成组内选择。
• 通过识别MCMC输出中的模式进行特征选择，采用阈值规则（如相对系数大小 > 0.1）以过滤噪声。
• 采用两阶段方法：首先在完整特征集上运行MCMC以识别有希望的组；其次在候选特征的精简集合上重新运行MCMC以进行优化。
• 该方法可扩展以处理多种重尾先验，并可适配至其他模型，如线性模型和图模型。

实验结果

研究问题

• RQ1 在具有分组结构的高维数据中，完全贝叶斯方法结合重尾先验是否能优于频率学派的惩罚方法，在选择稀疏、具有预测能力的特征子集中表现更优？
• RQ2 FBRHT是否能在无需预设分组结构的情况下，自动实现组内特征选择？
• RQ3 FBRHT是否能在使用显著更少特征的情况下，实现与LASSO、组LASSO和随机森林相当或更优的预测性能？
• RQ4 当特征子集大小相等时，FBRHT的预测性能如何与其它方法比较？
• RQ5 基于MCMC的贝叶斯推断结合重尾先验是否能稳定选择过程，减少非凸优化中常见的不稳定性？

主要发现

• 即使使用远少于其他方法的特征，FBRHT的预测性能仍与LASSO、组LASSO、监督组LASSO、随机森林及惩罚逻辑回归所选择的更大特征子集相当。
• 在白血病数据集上，FBRHT的最优子集（FBRHTtop）平均仅选择1.00个基因，而LASSO平均选择26.43个基因，但FBRHT的AUC仍为1.00。
• 在乳腺癌数据集上，FBRHTtop仅使用1.00个基因，FBRHTopt使用1.95个基因，两者AUC均为1.00；而LASSO使用26.43个基因，AUC也为1.00，且ER × 121为1。
• FBRHT所选的稀疏特征子集的预测能力显著优于从LASSO、组LASSO及其他方法选出的前驱特征中选取的同尺寸子集。
• FBRHT在不牺牲预测准确性的前提下，展现出卓越的稀疏性，最稀疏的子集（1–2个基因）在两个真实数据集上均实现了接近完美的AUC值1.00。
• 该方法有效处理了组内选择与噪声抑制，比LASSO更激进地剔除无关特征，同时保留了有效信号。