[论文解读] Baselines and a datasheet for the Cerema AWP dataset

Ismaïla Seck, Khouloud Dahmane+2 more|arXiv (Cornell University)|Jun 11, 2018

Anomaly Detection Techniques and Applications被引用 9

一句话总结

本文为Cerema AWP数据集引入了标准化的数据表，并提出了多种深度学习基线模型，该数据集是一个完全受控、完全标注的图像数据集，用于捕捉恶劣天气条件下的行人。本文提出了用于分类、回归、自编码和基于生成对抗网络（GAN）图像生成的卷积神经网络基线模型，展示了该数据集在评估视觉模型在极端环境条件下鲁棒性和公平性方面的实用性。

ABSTRACT

This paper presents the recently published Cerema AWP (Adverse Weather Pedestrian) dataset for various machine learning tasks and its exports in machine learning friendly format. We explain why this dataset can be interesting (mainly because it is a greatly controlled and fully annotated image dataset) and present baseline results for various tasks. Moreover, we decided to follow the very recent suggestions of datasheets for dataset, trying to standardize all the available information of the dataset, with a transparency objective.

研究动机与目标

• 为Cerema AWP数据集提供标准化、透明的数据表，以提升机器学习研究中数据集的可重现性与公平性。
• 通过Cerema AWP数据集建立多种深度学习任务的基线性能，包括分类、回归、自编码和基于GAN的图像生成。
• 展示该数据集在评估模型在雾、雨和低光照等恶劣天气条件下鲁棒性方面的价值。
• 通过遵循Gebru等人（2018）提出的“数据集数据表”框架，推动机器学习研究中的透明度与可重现性。
• 通过将数据集导出为机器学习友好的HDF5格式并提供平衡的训练/测试划分，促进方法比较与基准测试。

提出的方法

• 将数据集预处理后导出为单个HDF5文件，包含图像和标签，图像尺寸为158×256，每类包含10个类别（天气、行人、方向）。
• 采用15%的测试集划分，确保在天气、行人身份和运动方向上的类别分布均衡。
• 基线模型使用标准的卷积神经网络架构进行训练，包括全连接层、卷积层和转置卷积层。
• 对于生成对抗网络（GAN），生成器采用转置卷积和Leaky ReLU激活函数，判别器则采用步幅卷积和Dropout正则化。
• 模型使用标准优化方法（如Adam）进行训练，并包含批量归一化和Dropout层以提升泛化能力。
• 实现代码已发布在GitHub上，以确保可重现性，并便于未来研究使用。

实验结果

研究问题

• RQ1 标准化数据表在多大程度上能提升机器学习数据集的透明度与公平性？
• RQ2 在Cerema AWP数据集上，图像分类、回归、自编码和基于GAN的图像生成任务可达到怎样的基线性能？
• RQ3 Cerema AWP数据集的受控环境在多大程度上能够支持在恶劣天气条件下对模型鲁棒性进行可靠评估？
• RQ4 该数据集的结构与标注方式在多任务学习和方法间公平比较方面提供了哪些支持？
• RQ5 HDF5导出格式是否能有效支持深度学习模型的可扩展且可重现的训练与评估？

主要发现

• Cerema AWP数据集包含85%的训练图像和15%的测试图像，测试集中每类约有12个样本，确保了评估的平衡性。
• 作者在所有基线任务中均实现了稳定的训练和有意义的结果，证明了该数据集在基准测试中的适用性。
• 生成器模型共有5,174,723个参数，其中5,010,435个为可训练参数，表明其架构复杂，具备生成高保真图像的能力。
• 判别器模型共有340,545个参数，全部可训练，设计用于有效区分真实图像与生成图像。
• 该数据集的受控环境与完整标注使其非常适合用于评估模型在强降雨和浓雾等恶劣天气条件下的鲁棒性。
• 标准化数据表与机器可读的HDF5格式的发布，显著提升了可重现性，并为未来在鲁棒视觉系统方面的研究提供了支持。