[论文解读] High-Resolution Multispectral Dataset for Semantic Segmentation

Ronald Kemker, Carl Salvaggio+1 more|arXiv (Cornell University)|Mar 6, 2017

Remote-Sensing Image Classification参考文献 11被引用 21

一句话总结

本文介绍了一个通过无人机（UAS）获取的高分辨率（4.7 cm GSD）多光谱数据集，包含18个不平衡类别，并预先划分了训练、验证和测试集，以实现对非RGB遥感影像语义分割模型的标准化基准测试。由于存在高空间变异性、像素数量庞大以及类别不平衡等问题，该数据集对旨在实现实时部署的深度学习框架构成了严峻挑战。

ABSTRACT

Unmanned aircraft have decreased the cost required to collect remote sensing imagery, which has enabled researchers to collect high-spatial resolution data from multiple sensor modalities more frequently and easily. The increase in data will push the need for semantic segmentation frameworks that are able to classify non-RGB imagery, but this type of algorithmic development requires an increase in publicly available benchmark datasets with class labels. In this paper, we introduce a high-resolution multispectral dataset with image labels. This new benchmark dataset has been pre-split into training/testing folds in order to standardize evaluation and continue to push state-of-the-art classification frameworks for non-RGB imagery.

研究动机与目标

• 为解决遥感领域中缺乏公开可用、高分辨率、带标注的多光谱数据集以支持语义分割的问题。
• 通过提供预划分的训练、验证和测试集，实现对非RGB影像上深度学习模型的标准化评估。
• 支持为无人机系统（UAS）影像开发可部署的、实时语义分割框架。
• 提供一个反映真实世界挑战（如类别不平衡、空间变异性以及小而难检测目标）的基准。
• 促进基于RGB数据集（如ImageNet）预训练模型向多光谱遥感应用的迁移。

提出的方法

• 数据集通过搭载在无人机上的Tetracam Micro-MCA6多光谱传感器在哈姆林海滩州立公园采集，实现了4.7 cm的地面采样距离（GSD）。
• 数据集包含18个不平衡的语义类别，并已预先划分为训练、验证和测试集，以防止数据泄露并确保泛化性能评估。
• 评估了多阶段分类流程，包括使用不同波段组合（RGB、NIR、CIR、VNIR及全部6波段）的SVM，以及用于特征提取的堆叠自编码器（SCAE）。
• 特征提取采用堆叠自编码器结合WPCA（加权主成分分析）以降低维度，同时保留99%的方差。
• 目标检测性能通过标准算法评估：光谱角映射（SAM）、光谱匹配滤波（SMF）、约束能量最小化（CEM）和自适应余弦估计算法（ACE）。
• 性能指标包括总体精度（OA）、平均类别精度（AA）、kappa统计量（κ）以及目标检测的曲线下面积（AUC）

实验结果

研究问题

• RQ1 是否可通过包含预划分训练与测试集的高分辨率多光谱数据集，实现对非RGB遥感影像语义分割模型的可靠且标准化的基准测试？
• RQ2 在高植被含量的多光谱数据集中，包含近红外（NIR）波段如何影响分类性能？
• RQ3 与深度学习方法相比，传统机器学习模型（如使用人工选择特征的SVM）在高分辨率、不平衡多光谱数据上的表现如何？
• RQ4 在该数据集上训练的端到端深度学习框架能否实现适用于UAS部署的实时推理性能？
• RQ5 在不同光照条件下，标准目标检测算法（SAM、SMF、CEM、ACE）在多光谱数据中对黑白木质面板的检测性能如何？

主要发现

• 使用全部六个多光谱波段的SVM取得了最高的总体精度（61.3%）和kappa统计量（0.538），优于仅使用RGB波段（36.4% OA）和仅使用NIR波段（59.6% OA）的配置。
• 包含近红外（NIR）波段显著提升了分类性能，NIR波段单独使用时SVM的总体精度达到59.6%，表明其在植被识别方面具有强大能力。
• 基于SCAE的特征提取方法优于MICA模型，表明在此背景下，感受野更大的低级特征比高级特征更具有效性。
• 在目标检测方面，SAM和ACE算法在黑白目标上均取得了最高的AUC值（0.91–0.98），尤其在测试集上表现优异，显示出对光照变化的强鲁棒性。
• SMF（双侧）算法在黑色目标上表现较差（AUC = 0.613），凸显了部分算法对目标对比度和背景条件的敏感性。
• 该数据集的高空间分辨率和庞大的像素数量（超过10000万个像素）带来了显著的计算压力，需要GPU加速，限制了在完整场景上进行端到端训练。