[论文解读] Class-Wise Principal Component Analysis for hyperspectral image feature extraction

Dimitra Koumoutsou, Eleni Charou+2 more|arXiv (Cornell University)|Apr 9, 2021

Remote-Sensing Image Classification被引用 4

一句话总结

本文提出了一种类-wise主成分分析（CW-PCA），一种用于高光谱图像的监督降维方法，可同时解决维度灾难和类别不平衡问题。通过对每一类单独执行PCA并整合结果，CW-PCA在Indian Pines数据集上实现了99.95%的整体准确率，显著优于PCA、ICA和LDA，且对过拟合具有鲁棒性，并在少数类上表现出色。

ABSTRACT

This paper introduces the Class-wise Principal Component Analysis, a supervised feature extraction method for hyperspectral data. Hyperspectral Imaging (HSI) has appeared in various fields in recent years, including Remote Sensing. Realizing that information extraction tasks for hyperspectral images are burdened by data-specific issues, we identify and address two major problems. Those are the Curse of Dimensionality which occurs due to the high-volume of the data cube and the class imbalance problem which is common in hyperspectral datasets. Dimensionality reduction is an essential preprocessing step to complement a hyperspectral image classification task. Therefore, we propose a feature extraction algorithm for dimensionality reduction, based on Principal Component Analysis (PCA). Evaluations are carried out on the Indian Pines dataset to demonstrate that significant improvements are achieved when using the reduced data in a classification task.

研究动机与目标

• 解决高光谱成像中的维度灾难问题，该问题因高光谱冗余和噪声导致分类性能下降。
• 缓解高光谱数据集中类别不平衡问题，其中少数类样本不足，常被错误分类。
• 开发一种监督特征提取方法，在有效降低光谱维度的同时保留类别特异性信息。
• 在分类准确率方面超越现有方法（如PCA、ICA和LDA），尤其在弱（少数）类别上表现更优。
• 在Indian Pines这一基准数据集上，在高维和类别不平衡的现实条件下验证该方法的有效性。

提出的方法

• CW-PCA对高光谱数据立方体中每个类别特定的子集独立执行主成分分析（PCA）。
• 对于每一类，算法从属于该类的训练样本中计算均值向量和协方差矩阵。
• 然后计算能最大化类内方差的主成分，仅保留每类中最具信息量的光谱波段。
• 将所得的类内主成分组合成统一的特征空间，保持类间可分性。
• 该方法通过在降维过程中引入类别标签采用监督策略，与标准PCA不同。
• 最终的特征空间通过拼接每类的前N个主成分构建，将原始的220个波段减少至16个。

实验结果

研究问题

• RQ1 与标准PCA相比，类-wise PCA方法是否能在高光谱图像分析中提升分类准确率？
• RQ2 在降维过程中引入类别特异性信息，是否能减轻类别不平衡对模型性能的负面影响？
• RQ3 CW-PCA与无监督方法（PCA、ICA）和监督方法（LDA）相比，在收敛速度和泛化能力方面表现如何？
• RQ4 CW-PCA在高度不平衡数据集中在多大程度上保留了少数类的判别能力？
• RQ5 CW-PCA是否能防止训练过程中的过拟合，尤其是在使用降维数据时？

主要发现

• CW-PCA在Indian Pines数据集上实现了99.95%的整体准确率，显著高于PCA（91.53%）、ICA（89.43%）和LDA（96.43%）。
• 该方法仅用10个周期即完成收敛，比PCA和LDA快50%，且在90个周期后仍无过拟合迹象。
• 弱类（1、7、9、16）的类内准确率接近100%，而其他方法表现差距显著，尤其是第16类（比CW-PCA低26%）。
• CW-PCA的损失曲线在整个训练周期内保持稳定且较低，表明其泛化能力强，无过拟合现象。
• CW-PCA在少数类上表现出卓越的鲁棒性，有效缓解了类别不平衡问题，且无需依赖数据采样技术。
• 视觉分析表明，CW-PCA在所有类别上均保持高准确率，包括训练样本不足1%的类别，而PCA、ICA和LDA则表现不佳。