[论文解读] Dimensionality Reduction and Classification Feature Using Mutual Information Applied to Hyperspectral Images: A Wrapper Strategy Algorithm Based on Minimizing the Error Probability Using the Inequality of Fano

Elkebir Sarhrouni, Ahmed Hammouch+1 more|arXiv (Cornell University)|Oct 31, 2012

Remote-Sensing Image Classification参考文献 10被引用 6

一句话总结

该论文提出了一种基于包装器的高光谱图像分类特征选择算法，利用互信息和Fano不等式来最小化分类错误概率，并引入一个阈值以仅保留能显著降低错误概率的波段。该方法在AVIRIS 92AV3C数据集上仅使用18个波段即实现了90%的分类准确率，优于标准互信息方法，通过保留有用的冗余性同时剔除有害的冗余性，实现了更优的性能。

ABSTRACT

In the feature classification domain, the choice of data affects widely the results. For the Hyperspectral image, the bands dont all contain the information; some bands are irrelevant like those affected by various atmospheric effects, see Figure.4, and decrease the classification accuracy. And there exist redundant bands to complicate the learning system and product incorrect prediction [14]. Even the bands contain enough information about the scene they may can't predict the classes correctly if the dimension of space images, see Figure.3, is so large that needs many cases to detect the relationship between the bands and the scene (Hughes phenomenon) [10]. We can reduce the dimensionality of hyperspectral images by selecting only the relevant bands (feature selection or subset selection methodology), or extracting, from the original bands, new bands containing the maximal information about the classes, using any functions, logical or numerical (feature extraction methodology) [11][9]. Here we focus on the feature selection using mutual information. Hyperspectral images have three advantages regarding the multispectral images [6],

研究动机与目标

• 解决高维高光谱数据中冗余和噪声波段导致分类准确率下降的挑战。
• 克服现有基于互信息方法的局限性，即因冗余性而剔除波段，即使这些波段携带了有用信息。
• 开发一种特征选择策略，保留有助于降低错误概率的波段，从而区分有用的冗余与无用的冗余。
• 通过在包装器框架中整合基于Fano不等式的错误概率最小化，提升分类性能。
• 提供一种基于阈值的控制机制，以在高光谱图像处理中平衡冗余性与分类准确率。

提出的方法

• 计算每个波段与真实标签图之间的互信息，以评估其与类别标签的相关性。
• 利用Fano不等式，基于条件熵和互信息估计分类错误概率的上界。
• 选择能最小化错误概率上界的波段，确保每个选中的波段都能以可测量的方式降低错误率。
• 引入一个互补阈值以控制冗余性：仅当波段能将错误概率降低至少达到该阈值时才予以保留。
• 实施一种包装器策略，迭代使用分类器估计的参考标签图来评估波段选择的性能。
• 基于所选特征数量设置停止准则，形成一种混合式过滤-包装器方法。

实验结果

研究问题

• RQ1 如何利用互信息在高光谱图像中选择信息丰富的波段，同时避免因冗余性而损失有用信息？
• RQ2 通过Fano不等式最小化分类错误概率，与标准互信息方法相比，能在多大程度上提升分类准确率？
• RQ3 基于阈值的机制能否有效区分高光谱波段选择中的有用冗余与有害冗余？
• RQ4 所提出的包装器算法在不同类别上的性能表现如何，特别是对于标注像素极少的类别？
• RQ5 在使用错误概率最小化时，所选波段数量与分类准确率之间应如何实现最优平衡？

主要发现

• 所提算法在AVIRIS 92AV3C数据集中仅使用18个波段即实现了90%的分类准确率，展现出极高的效率。
• 当阈值为0.03及以下时，方法在波段数量极少的情况下仍保持高准确率（例如，类别5为95.93%，类别6为98.60%）。
• 类别9仅有20个标注像素，却在所有阈值下均实现100%的准确率，表明对稀有类别具有强鲁棒性。
• 该方法优于标准互信息过滤方法，因其保留了虽具冗余但有助于降低错误率的波段。
• 阈值低于0.01会导致冗余过多，从而降低性能；而负阈值（如-0.01）则导致全部波段被选中，准确率反而下降。
• 从阈值0.03到0.015的转变过程中，算法性能出现显著提升，表明冗余控制存在一个关键的敏感点。