[论文解读] Ensembling improves stability and power of feature selection for deep learning models

Prashnna Gyawali, Xiaoxia Liu+2 more|arXiv (Cornell University)|Oct 2, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文提出通过在多个训练周期和超参数设置下对特征重要性得分进行集成，以稳定并提升深度学习模型中的特征选择效果。通过聚合大量高性能模型的得分而非依赖单一最优模型，该框架显著增强了选择的稳定性与统计功效，尤其在信号强度较低或特征相关性较高的情况下表现更优。

ABSTRACT

With the growing adoption of deep learning models in different real-world domains, including computational biology, it is often necessary to understand which data features are essential for the model's decision. Despite extensive recent efforts to define different feature importance metrics for deep learning models, we identified that inherent stochasticity in the design and training of deep learning models makes commonly used feature importance scores unstable. This results in varied explanations or selections of different features across different runs of the model. We demonstrate how the signal strength of features and correlation among features directly contribute to this instability. To address this instability, we explore the ensembling of feature importance scores of models across different epochs and find that this simple approach can substantially address this issue. For example, we consider knockoff inference as they allow feature selection with statistical guarantees. We discover considerable variability in selected features in different epochs of deep learning training, and the best selection of features doesn't necessarily occur at the lowest validation loss, the conventional approach to determine the best model. As such, we present a framework to combine the feature importance of trained models across different hyperparameter settings and epochs, and instead of selecting features from one best model, we perform an ensemble of feature importance scores from numerous good models. Across the range of experiments in simulated and various real-world datasets, we demonstrate that the proposed framework consistently improves the power of feature selection.

研究动机与目标

• 解决深度神经网络中因训练随机性和非凸优化导致的特征重要性得分不稳定性问题。
• 探究低信号强度与高特征相关性如何加剧特征归因与选择的不稳定性。
• 开发一种框架，利用跨训练周期与超参数设置的模型集成，提升特征选择的可靠性。
• 通过 knockoff 推断方法，证明该框架在提升特征选择稳定性与统计功效方面的有效性。
• 提供一种可推广的方法，适用于 knockoff 方法之外的其他深度学习特征选择技术。

提出的方法

• 在多个随机初始化与超参数设置下训练深度神经网络，以生成多样化的模型路径。
• 基于交叉验证损失筛选‘优质’模型，重点关注验证损失最低的前25%模型。
• 通过简单平均法聚合所选模型的特征重要性得分，形成集成得分。
• 对集成得分应用 knockoff 推断，以实现受控错误发现率（FDR）的特征选择。
• 为每个数据集使用多个 knockoff 样本，以提升真实应用场景下的稳定性与检测功效。
• 将基于集成的特征选择方法与传统依赖单一最优模型（最低交叉验证损失）的方法进行对比。

实验结果

研究问题

• RQ1 深度学习模型的训练随机性在多大程度上导致特征重要性得分不稳定及特征选择不一致？
• RQ2 数据特性如低信号强度与高特征相关性如何影响特征重要性与选择的稳定性？
• RQ3 在多个训练周期与超参数设置下集成特征重要性得分，能否提升特征选择的稳定性与功效？
• RQ4 与基于单一最优模型（最低验证损失）的传统方法相比，集成方法在选择一致性与统计功效方面是否表现更优？
• RQ5 所提出的框架能否有效应用于具有高维特征与低信噪比的真实世界生物数据集？

主要发现

• 即使模型在验证性能上相近，深度学习模型的特征重要性得分在不同训练运行间仍表现出高度不稳定性。
• 基于最低验证损失选出的最优模型，并未在所有情况下都带来最稳定或最强大的特征选择，尤其在低信号或高相关性设置下更为明显。
• 对多个训练周期中表现最佳的模型的特征重要性得分进行集成，可显著降低选择的变异性并提升稳定性。
• 集成框架在保持受控 FDR（q=0.2）的同时增加了所选特征数量，表明其在特征选择中具有更高的统计功效。
• 在真实世界数据集（蛋白质组学、乳腺癌、Pima 糖尿病）中，集成方法所选特征数多于最优单模型或简单平均法，展现出更优的功效。
• 该框架能有效缓解训练路径中低质量模型的影响，从而实现更稳健可靠的特征选择结果。