[论文解读] Feature Selection for classification of hyperspectral data by minimizing a tight bound on the VC dimension

Phool Preet, Sanjit Singh Batra+1 more|arXiv (Cornell University)|Sep 27, 2015

Remote-Sensing Image Classification参考文献 16被引用 5

一句话总结

本文提出了一种新型基于滤波的高光谱图像分类特征选择方法，通过最小化Vapnik-Chervonenkis（VC）维数的紧致上界来选择具有信息量的光谱波段。通过利用模型复杂度的理论边界，该方法在多个基准数据集（包括Salinas和Botswana）上相较于最先进方法实现了更优的分类准确率和稀疏性，F1分数和Matthews相关系数（MCC）均有持续提升。

ABSTRACT

Hyperspectral data consists of large number of features which require sophisticated analysis to be extracted. A popular approach to reduce computational cost, facilitate information representation and accelerate knowledge discovery is to eliminate bands that do not improve the classification and analysis methods being applied. In particular, algorithms that perform band elimination should be designed to take advantage of the specifics of the classification method being used. This paper employs a recently proposed filter-feature-selection algorithm based on minimizing a tight bound on the VC dimension. We have successfully applied this algorithm to determine a reasonable subset of bands without any user-defined stopping criteria on widely used hyperspectral images and demonstrate that this method outperforms state-of-the-art methods in terms of both sparsity of feature set as well as accuracy of classification.\end{abstract}

研究动机与目标

• 解决高光谱数据中高维性和冗余性导致分类性能下降的问题。
• 通过选择最少但最具信息量的光谱波段，降低计算成本并缓解Hughes效应。
• 通过保留判别性特征并消除噪声或相关波段，提升分类准确率。
• 评估基于VC维数边界理论基础的特征选择方法在真实世界高光谱分类任务中的有效性。
• 证明最小化VC维数的紧致上界可带来比现有滤波方法更优的泛化能力和稀疏性。

提出的方法

• 该方法将特征选择建模为一个优化问题，旨在最小化VC维数的紧致上界，从而控制模型复杂度和泛化误差。
• 采用基于滤波的方法，独立于分类器评估特征子集，避免了迭代训练的需求。
• 算法根据各光谱波段对降低VC维数理论边界的贡献进行排序，优先选择信息量丰富且互不相关特征。
• 选择过程为贪心且高效，使其可扩展至具有数百个波段的高维高光谱数据。
• 该方法无需用户定义的停止标准，因为边界最小化过程本身自然引导选择向最优子集演进。
• 特征选择完成后，使用支持向量机（SVM）分类器在基准数据集上评估分类性能。

实验结果

研究问题

• RQ1 最小化VC维数的紧致上界是否能提升具有高维、相关特征的高光谱数据的分类准确率？
• RQ2 与最先进基于滤波的特征选择技术相比，该方法在特征集稀疏性和分类性能方面表现如何？
• RQ3 该方法是否通过选择最少但具有判别性的光谱波段有效缓解了Hughes效应？
• RQ4 基于VC维数的选择策略是否能在具有不同类别数量和波段特性的多样化高光谱数据集中实现泛化？
• RQ5 该方法在真实世界高光谱场景中，对不同训练集与测试集比例及类别不平衡情况是否具有鲁棒性？

主要发现

• 在Salinas数据集上，测试/训练比率为0.80且使用15个波段时，所提方法的加权平均MCC达到0.9727，显著优于MRMR（0.9397）、JMI（0.9058）和RELIEF（0.8318）。
• 在Botswana数据集上，测试/训练比率为0.90且使用15个波段时，所提方法的加权平均MCC达到0.7012，优于MRMR（0.4292）、JMI（0.3782）、RELIEF（0.5481）和PCA（0.3369）。
• 该方法始终选择更少但更具信息量的波段，实现了更高的稀疏性，同时保持或提升了分类准确率。
• 各类别MCC结果表明，该方法在所有类别上均保持了强劲性能，包括其他方法分类效果较差的挑战性类别如'Firescar2'和'Riparian'。
• 所选波段数量被有效最小化，无需用户定义的停止标准，因为边界最小化过程自然引导选择趋向最优子集。
• 该方法在具有不同类别数量和光谱特性的数据集上表现出鲁棒性，表明其具备强大的泛化潜力。