[论文解读] Bayesian Classification and Regression with High Dimensional Features

Longhai Li|ArXiv.org|Sep 18, 2007

Bayesian Methods and Mixture Models参考文献 43被引用 3

一句话总结

本文提出贝叶斯方法以解决高维回归与分类中的两个关键挑战：基于特征子集选择产生的选择偏差，以及由于高阶交互作用导致参数数量指数级增长所引发的计算不可行性。该文引入一种针对特征选择偏差的贝叶斯校正方法，并提出一种参数压缩技术，将具有相同交互模式的项归为一组，从而实现高效的MCMC推断，显著缩短训练时间，同时在模拟数据和真实基因表达数据、文本数据上保持良好的预测性能。

ABSTRACT

This thesis responds to the challenges of using a large number, such as thousands, of features in regression and classification problems. There are two situations where such high dimensional features arise. One is when high dimensional measurements are available, for example, gene expression data produced by microarray techniques. For computational or other reasons, people may select only a small subset of features when modelling such data, by looking at how relevant the features are to predicting the response, based on some measure such as correlation with the response in the training data. Although it is used very commonly, this procedure will make the response appear more predictable than it actually is. In Chapter 2, we propose a Bayesian method to avoid this selection bias, with application to naive Bayes models and mixture models. High dimensional features also arise when we consider high-order interactions. The number of parameters will increase exponentially with the order considered. In Chapter 3, we propose a method for compressing a group of parameters into a single one, by exploiting the fact that many predictor variables derived from high-order interactions have the same values for all the training cases. The number of compressed parameters may have converged before considering the highest possible order. We apply this compression method to logistic sequence prediction models and logistic classification models. We use both simulated data and real data to test our methods in both chapters.

研究动机与目标

• 解决高维特征选择中众所周知的选择偏差问题，即基于特征与响应的相关性选择特征，导致性能估计过于乐观。
• 开发一种贝叶斯框架，通过积分出与选择相关的参数并计算校正因子，对朴素贝叶斯和混合模型中的此类偏差进行校正。
• 应对建模高阶交互作用导致的计算不可行性，其特征是参数数量呈指数级增长，尤其在逻辑斯蒂模型中更为显著。
• 提出一种参数压缩方法，将所有训练样本中具有相同预测变量值的交互项聚合为单个压缩参数，从而降低模型复杂度。
• 证明压缩参数的数量在达到最高可能的交互阶数之前即已收敛，使高阶建模在计算上变得可行。

提出的方法

• 提出一种贝叶斯校正因子，通过积分出选择指示变量和响应相关性参数，校正朴素贝叶斯和混合模型中的选择偏差。
• 使用数值积分与MCMC方法计算预测分布，以考虑特征选择中的不确定性，避免对所选特征的过拟合。
• 引入一种参数压缩技术，将所有训练样本中具有相同交互模式的回归系数聚合为单个参数。
• 采用拆分过程，在预测阶段从压缩参数中恢复原始参数，以确保模型的可解释性与准确性。
• 将该压缩方法应用于贝叶斯逻辑斯蒂序列预测与分类模型，采用重尾的柯西先验，以更好地反映稀疏、重尾的系数信念。
• 使用压缩参数进行MCMC采样以高效训练模型，显著缩短训练时间，同时保持预测性能。

实验结果

研究问题

• RQ1 贝叶斯模型如何校正基于特征与响应相关性选择特征所引入的乐观偏差？
• RQ2 参数压缩方法是否能在不损失预测准确性的前提下，减少具有高阶交互作用模型的参数数量？
• RQ3 压缩参数的数量是否在达到最高可能交互阶数之前即已收敛，从而使高阶建模在计算上可行？
• RQ4 柯西先验与高斯先验相比，在捕捉高维交互模型中稀疏、重尾的系数分布方面表现如何？
• RQ5 所提出的压缩方法在真实世界数据（如基因表达与文本序列）上，对训练效率与预测性能的提升程度如何？

主要发现

• 所提出的贝叶斯校正因子能有效校正选择偏差，使期望误差率与实际误差率一致，尤其在仅选择少数特征时表现显著。
• 在结肠癌基因表达数据上，该方法在不同选择特征数量下均保持稳定性能，避免了标准选择方法中常见的过度乐观现象。
• 压缩参数的数量在交互阶数较早阶段即已收敛，即使未达到最高可能阶数，也显著降低了模型复杂度与训练时间。
• 使用压缩参数后训练时间大幅减少：图3.18左下角图显示性能明显提升，压缩模型的训练速度远超未压缩模型。
• 预测时间也得到缩短，如图3.18右下角图所示，压缩模型实现了更快的推理速度。
• 实验表明，柯西先验在捕捉稀疏系数结构方面优于高斯先验，表现为更好的预测性能和更准确的后验分布，尤其在柯西分布数据实验中表现突出。