[论文解读] Approximate False Positive Rate Control in Selection Frequency for Random Forest

Ender Konukoğlu, Melanie Ganz|arXiv (Cornell University)|Oct 10, 2014

Neural Networks and Applications参考文献 20被引用 8

一句话总结

本文提出了一种原理严谨、计算轻量的方法，通过建模选择频率分布来控制随机森林特征选择中的假阳性率。该方法使研究人员能够在不增加额外计算成本的情况下，设定阈值将假阳性率限制在期望水平，显著提升了神经影像学和生物信息学应用中的可靠性。

ABSTRACT

Random Forest has become one of the most popular tools for feature selection. Its ability to deal with high-dimensional data makes this algorithm especially useful for studies in neuroimaging and bioinformatics. Despite its popularity and wide use, feature selection in Random Forest still lacks a crucial ingredient: false positive rate control. To date there is no efficient, principled and computationally light-weight solution to this shortcoming. As a result, researchers using Random Forest for feature selection have to resort to using heuristically set thresholds on feature rankings. This article builds an approximate probabilistic model for the feature selection process in random forest training, which allows us to compute an estimated false positive rate for a given threshold on selection frequency. Hence, it presents a principled way to determine thresholds for the selection of relevant features without any additional computational load. Experimental analysis with synthetic data demonstrates that the proposed approach can limit false positive rates on the order of the desired values and keep false negative rates low. Results show that this holds even in the presence of a complex correlation structure between features. Its good statistical properties and light-weight computational needs make this approach widely applicable to feature selection for a wide-range of applications.

研究动机与目标

• 解决随机森林特征选择中缺乏假阳性率控制的问题，这是高维数据分析中的一个关键缺口。
• 克服对特征重要性排序依赖启发式阈值的问题，从而提升可解释性和可靠性。
• 开发一种方法，可在不增加计算成本的前提下，估计给定选择频率阈值下的假阳性率。
• 为包装算法和稳定性选择提供原理严谨的阈值选择方法，提升特征选择的效率与准确性。
• 即使在复杂的特征相关结构下，也能保持较低的假阴性率，确保对真正相关特征的敏感性。

提出的方法

• 为随机森林训练中的选择频率提出一种近似概率模型，将特征包含视为伯努利过程。
• 使用贝塔-二项分布近似，建模原假设下（即无关特征）的选择频率分布。
• 通过在原假设下对选择频率的累积分布进行积分，估计给定阈值下的期望假阳性数量。
• 利用该模型计算对应于用户指定假阳性率（如 0.05 或 0.10）的阈值，实现统计控制。
• 将该方法无缝集成到现有工作流中，计算开销极小，适用于实时或迭代式特征选择流程。
• 使用具有受控相关结构和不同数量无关特征的合成数据验证模型的准确性。

实验结果

研究问题

• RQ1 能否通过一种原理严谨的近似模型，准确估计随机森林特征选择中给定选择频率阈值的假阳性率？
• RQ2 在不同特征相关程度和高维设置下，该模型对假阳性率的控制精度如何？
• RQ3 在实现目标假阳性率控制的同时，该方法是否能保持较低的假阴性率？
• RQ4 该方法能否在不显著增加计算成本的前提下，高效集成到前向或后向选择等包装算法中？
• RQ5 在现实数据条件下，包括特征间复杂的依赖结构，该模型表现如何？

主要发现

• 所提出的方法在多个合成数据集中成功将假阳性率控制在目标阈值范围内（如 0.05 或 0.10）。
• 假阴性率保持较低水平，表明即使在复杂的相关结构下，对真正相关特征仍具有强敏感性。
• 该方法在极低计算开销下实现了精确的假阳性率估计，适用于迭代式特征选择工作流的集成。
• 该模型对特征相关性具有鲁棒性，在特征存在依赖关系时仍能有效控制假阳性率。
• 该方法实现了无需依赖启发式规则的原理化阈值选择，显著提升了特征选择结果的可解释性和可靠性。
• 该方法可直接应用于高维问题，如神经影像学，其中特征空间庞大且采用即时采样方式。