[论文解读] Image-level Classification in Hyperspectral Images using Feature Descriptors, with Application to Face Recognition

Vivek Sharma, Luc J. Van Gool|arXiv (Cornell University)|May 11, 2016

Remote-Sensing Image Classification参考文献 17被引用 15

一句话总结

该论文提出了一种用于高光谱图像（HSI）的新型图像级分类框架，将每个光谱波段视为独立图像，利用传统特征描述子——HOG、LBP 和 SIFT——进行人脸识别。通过在不进行降维的情况下充分利用完整的光谱信息，该方法在 PolyU-HSFD 数据集上实现了 96.1% 的最先进准确率，在 CMU-HSFD 数据集上达到了 96.9% 的准确率，优于现有使用手工设计特征的 HSI 人脸识别方法。

ABSTRACT

In this paper, we proposed a novel pipeline for image-level classification in the hyperspectral images. By doing this, we show that the discriminative spectral information at image-level features lead to significantly improved performance in a face recognition task. We also explored the potential of traditional feature descriptors in the hyperspectral images. From our evaluations, we observe that SIFT features outperform the state-of-the-art hyperspectral face recognition methods, and also the other descriptors. With the increasing deployment of hyperspectral sensors in a multitude of applications, we believe that our approach can effectively exploit the spectral information in hyperspectral images, thus beneficial to more accurate classification.

研究动机与目标

• 为解决高光谱图像（HSI）中图像级分类的缺乏问题，传统方法通常聚焦于像素级分类，且计算成本较高。
• 探索传统手工设计的特征描述子是否能有效利用 HSI 中丰富的光谱信息以提升分类性能。
• 证明在 HSI 人脸识别中，图像级特征提取优于像素级方法。
• 比较 HOG、LBP 和 SIFT 描述子在 HSI 人脸识别中的性能表现，特别是在可见光至近红外（V-NIR）波段范围内的表现。
• 评估在不进行降维的情况下处理全光谱波段是否能获得优于降维或基于 RGB 表示的识别准确率。

提出的方法

• 将 HSI 的每个光谱波段视为独立的单波段图像，从而实现图像级特征提取。
• 使用固定参数从每个波段中提取特征描述子——HOG、LBP 和 SIFT：HOG 使用 8×8 窗口大小和 9 个方向区间；SIFT 使用 4×4 分块大小和 8 步长。
• 使用具有 100 个聚类的高斯混合模型（GMM）对 SIFT 特征进行 Fiser 编码，随后进行 L2 归一化，形成 DSIFT-FVs。
• 在每个波段的特征上独立训练线性一对多 SVM 分类器，使用 LIBSVM 中的 C=10。
• 通过所有波段专属 SVM 的多数投票机制进行最终预测，以确定最终类别标签。
• 为与 RGB 方法比较，使用 CIE 2006 色匹配函数、D65 光源和相机响应特性，从 HSI 合成三通道 RGB 图像，随后进行相同处理。

实验结果

研究问题

• RQ1 是否可以通过将单个光谱波段作为图像进行图像级分类，实现优于传统像素级分类的性能？
• RQ2 HOG、LBP 和 SIFT 等手工设计的特征描述子是否能有效捕捉高光谱人脸图像中的判别性信息？
• RQ3 在不进行降维的情况下处理全光谱波段，是否能获得优于降维或基于 RGB 的特征提取的识别准确率？
• RQ4 基于 SIFT 的特征在 HSI 人脸识别中与现有最先进方法相比表现如何？
• RQ5 在可见光至近红外波段范围（450–1100 nm）内的光谱信息，是否比可见光范围的 RGB 更具判别性？

主要发现

• DSIFT-FVs 在 PolyU-HSFD 数据集上实现了 96.1% 的最高识别准确率，优于所有其他传统特征描述子以及大多数现有方法。
• 在 CMU-HSFD 数据集上，DSIFT-FVs 达到了 96.9% 的准确率，优于所有其他手工设计方法，仅低于采用更复杂融合策略的 Band fusion+PLS 方法。
• HOG 和 LBP 描述子在 PolyU-HSFD 数据集上分别实现了 92.3% 和 85.6% 的准确率，表现良好但低于 DSIFT-FVs。
• 所提方法显著优于基于 RGB 的特征提取，DSIFT-FVs 在 RGB 上的准确率为 85.4%，而在完整 HSI 波段上达到 96.1%（PolyU-HSFD 数据集）。
• 在不进行降维的情况下使用全光谱波段，保留了判别性信息，从而相比降低光谱维度的方法表现出更优性能。
• 基于 SIFT 的特征在 HSI 人脸识别中展现出一致的优越性，与它在 RGB 图像分类中的优异表现一致。