[论文解读] An Algorithm and Heuristic based on Normalized Mutual Information for Dimensionality Reduction and Classification of Hyperspectral images

Elkebir Sarhrouni, Ahmed Hammouch+1 more|arXiv (Cornell University)|Oct 22, 2022

Remote-Sensing Image Classification被引用 3

一句话总结

该论文提出了一种基于归一化互信息（NMI）的两阶段启发式算法，用于从高光谱图像（HSI）中选择非冗余、信息丰富的波段，以提升分类性能。首先，根据波段与真实标签（ground truth, GT）之间的互信息（MI）选择相关性高的波段；其次，利用NMI消除冗余波段，最终在AVIRIS 92AV3C数据集上仅使用42个波段即实现了84.24%的分类准确率，证明了该方法在不进行数据变换的前提下实现了高效的维数约简。

ABSTRACT

In the feature classification domain, the choice of data affects widely the results. The Hyperspectral image (HSI), is a set of more than a hundred bidirectional measures (called bands), of the same region (called ground truth map: GT). The HSI is modelized at a set of N vectors. So we have N features (or attributes) expressing N vectors of measures for C substances (called classes). The problematic is that it's pratically impossible to investgate all possible subsets. So we must find K vectors among N, such as relevant and no redundant ones; in order to classify substances. Here we introduce an algorithm based on Normalized Mutual Information to select relevant and no redundant bands, necessary to increase classification accuracy of HSI. Keywords: Feature Selection, Normalized Mutual information, Hyperspectral images, Classification, Redundancy.

研究动机与目标

• 为解决高光谱图像（HSI）分类中高维特征空间带来的挑战，其中冗余和无关波段会降低性能。
• 开发一种基于过滤的特征选择方法，将相关性与冗余性评估分离，以提升效率与控制能力。
• 在不转换原始数据的前提下降低维数，以保持可解释性并支持实时应用。
• 通过利用归一化互信息作为冗余度量，实现在极少数波段下获得高分类准确率。
• 提供可调阈值的启发式方法，便于在商业系统与实时系统中实际部署。

提出的方法

• 该方法利用每个波段与真实标签图（GT）之间的互信息（MI）对波段相关性进行排序，选择MI值较高的波段。
• 采用两阶段流程：首先，基于相关性阈值（IM）筛选波段，仅保留信息量高的波段。
• 其次，计算候选波段之间所有波对的归一化互信息（NMI），以检测并去除冗余波段。
• 评估了两种NMI形式：一种基于对称矩阵计算，另一种为优化形式，以降低计算复杂度。
• 算法应用冗余性阈值（TH）去除NMI值较高的波段，确保最终波段子集的多样性。
• 最终选定的波段子集用于训练分类器，并在AVIRIS 92AV3C数据集上验证性能。

实验结果

研究问题

• RQ1 归一化互信息是否能有效衡量高光谱波段之间的冗余性，从而支持高效的特征选择？
• RQ2 将相关性与冗余性评估分离，相较于联合阈值法，能否显著提升分类性能？
• RQ3 如何在相关性（与GT的高MI）与冗余性（波段间低NMI）之间取得最佳平衡，以最大化分类准确率？
• RQ4 所提出的启发式方法是否能在不进行数据变换的前提下，显著减少波段数量（远少于原始的220个波段）并实现高准确率？
• RQ5 不同阈值组合（IM与TH）如何影响所选波段数量及最终分类准确率？

主要发现

• 所提算法在AVIRIS 92AV3C数据集上仅使用42个波段即实现了84.24%的分类准确率，证明了其在维数约简方面的高效性。
• 仅使用17个波段时，该方法即达到80%的分类准确率，凸显其在极小特征集下保留关键信息的能力。
• 归一化互信息的第二种形式在42个波段下实现了几乎相同的准确率（84.16%），证实了不同公式化形式下的鲁棒性与一致性。
• 该方法能有效分离相关性与冗余性控制，优于同时对两者应用单一阈值的现有方法。
• 在阈值分析中，Zone 4（低TH，高TU）表现最优，表明严格控制冗余性并结合高相关性可实现最佳性能。
• 该算法在未标记区域具有良好的泛化能力，能成功分类原始真实标签图中未包含的像素，表明其具备强大的泛化能力。