[论文解读] Cluster Stability Selection

Gregory Faletto, Jacob Bien|arXiv (Cornell University)|Jan 3, 2022

Statistical Methods and Inference被引用 13

一句话总结

本文提出聚类稳定性选择（cluster stability selection），一种通过将潜在变量的代理变量分组为聚类来增强高维数据中特征选择稳定性的方法。通过利用聚类层面的选择频率，并对稳定聚类内的特征进行加权平均，该方法在存在高度相关代理变量时，相较于标准稳定性选择，显著提升了预测性能和稳定性。

ABSTRACT

Stability selection (Meinshausen and Buhlmann, 2010) makes any feature selection method more stable by returning only those features that are consistently selected across many subsamples. We prove (in what is, to our knowledge, the first result of its kind) that for data containing highly correlated proxies for an important latent variable, the lasso typically selects one proxy, yet stability selection with the lasso can fail to select any proxy, leading to worse predictive performance than the lasso alone. We introduce cluster stability selection, which exploits the practitioner's knowledge that highly correlated clusters exist in the data, resulting in better feature rankings than stability selection in this setting. We consider several feature-combination approaches, including taking a weighted average of the features in each important cluster where weights are determined by the frequency with which cluster members are selected, which we show leads to better predictive models than previous proposals. We present generalizations of theoretical guarantees from Meinshausen and Buhlmann (2010) and Shah and Samworth (2012) to show that cluster stability selection retains the same guarantees. In summary, cluster stability selection enjoys the best of both worlds, yielding a sparse selected set that is both stable and has good predictive performance.

研究动机与目标

• 解决高维数据中特征为潜在变量高度相关代理时特征选择不稳定的难题。
• 识别标准稳定性选择在存在此类代理时无法选择任何代理特征的问题，尽管这些代理具有预测价值。
• 提出一种利用数据中已知聚类结构以提升特征选择稳定性和预测性能的方法。
• 为新方法建立理论保证，将现有稳定性选择结果推广至聚类设置。
• 证明通过频率加权平均实现的聚类级特征组合，可获得优于先前方法的预测模型。

提出的方法

• 基于先验知识或经验相关性将特征聚类，假设其代表同一潜在变量的代理。
• 在每个聚类内应用稳定性选择，计算个体特征的选择频率。
• 对每个聚类中的特征进行加权平均，权重与特征在子样本中的选择频率成正比。
• 将所得聚类组合特征用于下游预测模型，以提升模型的样本外性能。
• 理论分析将 Meinshausen 和 Bühlmann（2010）以及 Shah 和 Samworth（2012）的稳定性选择保证推广至聚类设置。
• 证明聚类稳定性选择在弱正则性条件下，可保持对误发现率和预测风险的控制。

实验结果

研究问题

• RQ1 为何当单一潜在变量存在多个高度相关代理时，标准稳定性选择会完全无法选择任何代理特征？
• RQ2 对高度相关的特征进行聚类，是否能提升高维设置下特征选择方法的稳定性和预测性能？
• RQ3 在稳定聚类内进行特征组合，相比选择单个特征，如何提升模型性能？
• RQ4 可将哪些理论保证推广至聚类稳定性选择，以确保误发现率控制与预测一致性？
• RQ5 对聚类成员进行频率加权平均，是否能获得优于其他聚合策略的预测模型？

主要发现

• 当多个高度相关的代理存在时，使用Lasso的标准稳定性选择即使每个代理均具预测能力，也无法选择任何代理特征。
• 聚类稳定性选择成功识别并组合了相关代理特征，其预测性能优于Lasso和标准稳定性选择。
• 聚类成员的频率加权平均相比单个特征选择或简单平均，可实现更低的预测风险。
• Meinshausen 和 Bühlmann（2010）以及 Shah 和 Samworth（2012）的理论保证被推广至聚类稳定性选择框架。
• 在模拟实验中，聚类稳定性选择在不同模型规模下均降低了均方误差，尤其在存在相关代理的设置下表现更优。
• 该方法在保持误发现率控制的同时，提升了高维、相关数据设置下的预测准确性。