[论文解读] Improving Mutual Information based Feature Selection by Boosting Unique Relevance

Shiyu Liu, Mehul Motani|arXiv (Cornell University)|Dec 9, 2022

Machine Learning and Data Classification被引用 7

一句话总结

本文提出MRwMR-BUR，一种基于互信息的特征选择新准则，通过显式增强唯一相关性（UR）来改进最大相关性最小冗余（MRwMR）框架。通过结合KSG或基于分类器的方法估算UR，该方法在不增加算法复杂度的前提下，将冗余特征减少25%–30%，同时在测试准确率上较MRwMR提升2%–3%。

ABSTRACT

Mutual Information (MI) based feature selection makes use of MI to evaluate each feature and eventually shortlists a relevant feature subset, in order to address issues associated with high-dimensional datasets. Despite the effectiveness of MI in feature selection, we notice that many state-of-the-art algorithms disregard the so-called unique relevance (UR) of features, and arrive at a suboptimal selected feature subset which contains a non-negligible number of redundant features. We point out that the heart of the problem is that all these MIBFS algorithms follow the criterion of Maximize Relevance with Minimum Redundancy (MRwMR), which does not explicitly target UR. This motivates us to augment the existing criterion with the objective of boosting unique relevance (BUR), leading to a new criterion called MRwMR-BUR. Depending on the task being addressed, MRwMR-BUR has two variants, termed MRwMR-BUR-KSG and MRwMR-BUR-CLF, which estimate UR differently. MRwMR-BUR-KSG estimates UR via a nearest-neighbor based approach called the KSG estimator and is designed for three major tasks: (i) Classification Performance. (ii) Feature Interpretability. (iii) Classifier Generalization. MRwMR-BUR-CLF estimates UR via a classifier based approach. It adapts UR to different classifiers, further improving the competitiveness of MRwMR-BUR for classification performance oriented tasks. The performance of both MRwMR-BUR-KSG and MRwMR-BUR-CLF is validated via experiments using six public datasets and three popular classifiers. Specifically, as compared to MRwMR, the proposed MRwMR-BUR-KSG improves the test accuracy by 2% - 3% with 25% - 30% fewer features being selected, without increasing the algorithm complexity. MRwMR-BUR-CLF further improves the classification performance by 3.8%- 5.5% (relative to MRwMR), and it also outperforms three popular classifier dependent feature selection methods.

研究动机与目标

• 为解决现有基于互信息的特征选择（MIBFS）算法性能不佳的问题，这些算法忽略了唯一相关性（UR），而UR是获得最优特征子集的必要条件。
• 指出标准MRwMR准则未能显式针对UR，导致冗余特征选择并降低性能。
• 提出一种新准则MRwMR-BUR，显式将唯一相关性纳入特征选择目标，以提升相关性、可解释性与泛化能力。
• 开发两种变体——MRwMR-BUR-KSG（使用KSG估计器）和MRwMR-BUR-CLF（基于分类器的UR估计），分别适用于分类、可解释性与泛化任务。
• 验证MRwMR-BUR在准确率、特征数量减少及跨分类器泛化能力方面优于MRwMR及其他现有分类器依赖型方法。

提出的方法

• 提出MRwMR-BUR准则，通过在MRwMR基础上增加一个β加权项，优先选择具有高唯一相关性（UR）的特征，UR定义为条件互信息I(X_k; Y | Ω\X_k) > 0。
• 在MRwMR-BUR-KSG中采用基于最近邻的KSG估计器来估算唯一相关性，适用于通用特征选择任务。
• 在MRwMR-BUR-CLF中采用基于分类器的方法估算UR，使相关性度量适配特定分类器，以提升分类导向任务的性能。
• 通过修改评分函数而不改变算法结构，保持与MRwMR相同的计算复杂度。
• 将新准则应用于现有MIBFS算法（如MIM、mRMR、JMI、JMIM、GSA），通过用UR增强的目标替代其原有的相关性-冗余性权衡机制。
• 通过调优超参数β来平衡相关性与唯一相关性，实证验证表明β = 0.1在多个数据集上均取得最优性能。

实验结果

研究问题

• RQ1 在基于互信息的特征选择中忽略唯一相关性（UR）是否会导致包含冗余特征的次优特征子集？
• RQ2 通过新准则MRwMR-BUR显式增强唯一相关性，是否能提升分类准确率、减少特征数量并增强模型泛化能力？
• RQ3 MRwMR-BUR-KSG与MRwMR-BUR-CLF在多种数据集和分类器上的性能，相较于MRwMR及其他最先进MIBFS方法表现如何？
• RQ4 所提方法在分类性能、特征可解释性及分类器泛化能力等不同评估标准下是否均有效？
• RQ5 MRwMR-BUR准则中β的最优值是多少？其如何影响相关性与冗余性之间的权衡？

主要发现

• MRwMR-BUR-KSG在六个公开数据集上相比MRwMR将测试准确率提升2%–3%，同时将所选特征数量减少25%–30%。
• MRwMR-BUR-CLF相较MRwMR进一步将分类性能提升3.8%–5.5%，在分类任务中展现出更优的竞争力。
• MRwMR-BUR-CLF在测试准确率与特征效率方面优于三种主流分类器依赖型特征选择方法（RFE、FFS、BFE）。
• 该方法保持与MRwMR相同的算法复杂度，因此在高维数据集上具备可扩展性与实用性。
• 通过实证发现，平衡相关性与唯一相关性的最优β值为0.1，且在多个数据集与分类器上表现一致。
• MRwMR-BUR通过选择具有更高唯一相关性的更精确特征子集，提升了特征可解释性，有助于更深入探索特征与标签之间的关系。