[论文解读] Hyperspectral City V1.0 Dataset and Benchmark

Shaodi You, Huang, Erqi+15 more|arXiv (Cornell University)|Jul 24, 2019

Remote-Sensing Image Classification参考文献 2被引用 8

一句话总结

本论文介绍了Hyperspectral City V1.0，这是一个用于城市自动驾驶的基准数据集，包含367张训练和55张测试的高光谱图像（波长范围450–950 nm，共125个波段），数据采集自上海。该数据集支持利用丰富的光谱信息进行语义分割，其中训练标签为粗粒度，测试标签为细粒度，并通过H.264压缩格式实现高效传输，推动了物理驱动视觉与深度学习在复杂城市场景中的融合。

ABSTRACT

This document introduces the background and the usage of the Hyperspectral City Dataset and the benchmark. The documentation first starts with the background and motivation of the dataset. Follow it, we briefly describe the method of collecting the dataset and the processing method from raw dataset to the final release dataset, specifically, the version 1.0. We also provide the detailed usage of the dataset and the evaluation metric for submitted the result for the 2019 Hyperspectral City Challenge.

研究动机与目标

• 解决现有基于RGB的城市驾驶数据集（如Cityscapes）中存在的视觉质量有限和光谱信息不足的问题。
• 实现物理驱动视觉与深度学习协同提升语义分割在夜间、雾天、雨天等复杂条件下的鲁棒性。
• 提供一个基于高光谱数据的基准，用于语义分割研究，利用RGB之外的光谱多样性。
• 通过高分辨率、多光谱的城市影像，支持材料分析、反射率建模和可见度增强等研究。
• 促进能够利用光谱线索提升自动驾驶场景理解能力的模型开发。

提出的方法

• 使用LightGene高光谱相机（波长范围450–950 nm，125个波段，分辨率1400×1800）在三天内于上海的车辆上采集数据。
• 数据采集覆盖多样化的城市环境（如中央商务区、高速公路、郊区）和光照条件（白天、夜晚、晴天、阴天）。
• 由10名标注员使用LabelMe生成粗粒度语义标签，并与Cityscapes数据集的标签一致性对齐。
• 为55张测试图像创建了细粒度标签，挑战期间保持隐藏以供评估。
• 高光谱数据使用H.264在质量90%下进行压缩，文件大小减少至原始大小的2%以下，实现高效在线传输。
• 提供了MATLAB工具函数'readHSD.m'，用于将125通道的高光谱数据读取为多波段图像。

实验结果

研究问题

• RQ1 与仅使用RGB数据相比，高光谱数据是否能提升复杂城市驾驶场景中的语义分割准确率？
• RQ2 深度学习模型在低光照、雾天或雨天条件下，能否有效利用光谱信息以增强鲁棒性？
• RQ3 当丰富的光谱特征可用时，对高光谱数据进行粗粒度标注是否仍能有效支持模型训练？
• RQ4 能否利用大规模真实世界高光谱城市数据集，有效实现物理驱动视觉与深度学习的融合？
• RQ5 光谱分辨率和动态范围对自动驾驶应用中材料与场景理解的影响如何？

主要发现

• Hyperspectral City V1.0数据集包含367张训练图像和55张测试图像，共125个光谱波段，波长范围为450至950 nm。
• 该数据集支持使用mIoU（平均交并比）作为评估指标的语义分割任务，该指标在2019年Hyperspectral City挑战赛中使用。
• 高光谱数据使用H.264在质量90%下进行压缩，最终数据集大小约为40 GB，压缩率低于2%。
• 训练集包含来自10名标注员的粗粒度语义标签，测试集包含用于评估的细粒度标签。
• 该数据集支持材料分类、反射率分析和恶劣天气下可见度增强等高级应用。
• 发布内容包含一个MATLAB读取函数'readHSD.m'，以方便访问125通道的高光谱数据。