[论文解读] A New Heuristic for Feature Selection by Consistent Biclustering

Antonio Mucherino, Sonia Cafieri|arXiv (Cornell University)|Mar 17, 2010

Rough Sets and Fuzzy Logic参考文献 12被引用 3

一句话总结

该论文提出了一种基于一致biclustering的新型双层优化启发式方法用于特征选择，将NP难的0–1线性分数规划问题重新表述，以提升解的质量。该方法在白血病和合成数据集上优于先前的启发式方法，选择更多特征的同时保持较低的分类误差，验证数据上最多可选择7,081个特征，仅出现2次误分类。

ABSTRACT

Given a set of data, biclustering aims at finding simultaneous partitions in biclusters of its samples and of the features which are used for representing the samples. Consistent biclusterings allow to obtain correct classifications of the samples from the known classification of the features, and vice versa, and they are very useful for performing supervised classifications. The problem of finding consistent biclusterings can be seen as a feature selection problem, where the features that are not relevant for classification purposes are removed from the set of data, while the total number of features is maximized in order to preserve information. This feature selection problem can be formulated as a linear fractional 0-1 optimization problem. We propose a reformulation of this problem as a bilevel optimization problem, and we present a heuristic algorithm for an efficient solution of the reformulated problem. Computational experiments show that the presented algorithm is able to find better solutions with respect to the ones obtained by employing previously presented heuristic algorithms.

研究动机与目标

• 解决一致biclustering中的NP难特征选择问题，其中无关特征会降低分类准确率。
• 将0–1线性分数规划优化问题重新表述为双层规划，以支持更有效的启发式求解策略。
• 在保持分类准确率的前提下最大化所选特征数量，确保样本聚类与特征聚类之间的一致性。
• 在真实世界基因表达数据（特别是急性白血病数据集）上验证所提启发式方法，并使用独立验证集评估性能。

提出的方法

• 将原始的0–1线性分数规划特征选择问题重新表述为双层优化问题，其中内层为线性规划。
• 在每轮外层启发式迭代中，使用确定性算法精确求解内层问题的连续松弛。
• 应用贪心策略，迭代选择能提升目标函数的特征，同时满足一致性约束。
• 引入两种松弛一致性形式：α-一致和β-一致biclustering，以在特征数量与分类准确率之间实现权衡。
• 使用验证集评估分类性能，通过未见样本上的误分类误差进行度量。
• 通过调节α和β参数，实现特征选择规模与分类质量之间的平衡。

实验结果

研究问题

• RQ1 与现有启发式方法相比，双层优化重构是否能提升一致biclustering中特征选择的质量？
• RQ2 在真实白血病基因表达数据上，所提启发式方法在特征数量与分类准确率方面的表现如何？
• RQ3 α和β参数的变化对验证集中所选特征数量与误分类数量有何影响？
• RQ4 所提方法在最大化相关特征数量的同时，是否能保持样本与特征聚类之间的一致性？
• RQ5 该启发式方法能否高效处理大规模数据集，其中确定性方法不可行？

主要发现

• 当α = 0或β = 1.00时，所提启发式方法在白血病验证集上选择了7,081个特征，仅出现2次误分类，优于先前启发式方法（选择7,024个特征，误分类率相同）。
• 当α ≥ 50时，该方法在验证集上仅出现一次误分类，表明对噪声具有更强的鲁棒性。
• 在大多数α和β取值下，该算法选择的特征数量均超过先前启发式方法，仅在α = 70时例外（本方法选择7,046个特征，先前方法为6,989个）。
• 随着α或β值增加，所选特征数量减少，反映出一致性强度与特征数量之间的权衡。
• 计算成本随α或β的增加而上升，部分实验需数分钟CPU时间，表明在高一致性阈值下存在可扩展性挑战。
• 在合成数据上，该方法在7,500个特征的数据集中成功识别出7,450个特征（α-一致性下），表明在理想条件下具有极高的特征保留能力。