[论文解读] FRSign: A Large-Scale Traffic Light Dataset for Autonomous Trains

Jeanine Harb, Nicolas Rébéna+4 more|arXiv (Cornell University)|Feb 5, 2020

Autonomous Vehicle Technology and Safety参考文献 5被引用 18

一句话总结

FRSign 引入了一个大规模、开源的数据集，包含超过 100,000 幅法国铁路信号灯的图像，这些图像是从运行中的列车上拍摄的，配有精确的手动标注和元数据。该数据集支持基于视觉的检测与识别，用于自动驾驶列车，填补了铁路自动化研究中的一项关键空白，提供了六种信号板类型及其在真实环境条件下的状态的详细标注。

ABSTRACT

In the realm of autonomous transportation, there have been many initiatives for open-sourcing self-driving cars datasets, but much less for alternative methods of transportation such as trains. In this paper, we aim to bridge the gap by introducing FRSign, a large-scale and accurate dataset for vision-based railway traffic light detection and recognition. Our recordings were made on selected running trains in France and benefited from carefully hand-labeled annotations. An illustrative dataset which corresponds to ten percent of the acquired data to date is published in open source with the paper. It contains more than 100,000 images illustrating six types of French railway traffic lights and their possible color combinations, together with the relevant information regarding their acquisition such as date, time, sensor parameters, and bounding boxes. This dataset is published in open-source at the address \url{https://frsign.irt-systemx.fr}. We compare, analyze various properties of the dataset and provide metrics to express its variability. We also discuss specific challenges and particularities related to autonomous trains in comparison to autonomous cars.

研究动机与目标

• 解决自动驾驶列车系统中缺乏公开可用、大规模铁路信号灯识别数据集的问题。
• 提供一个高质量、人工标注的数据集，捕捉法国铁路信号在不同运行条件下真实世界中的变化性。
• 支持计算机视觉模型在自动驾驶列车感知中的开发与基准测试，特别是针对信号灯检测与分类。
• 支持研究能够处理开放线路环境中远距离检测和环境扰动的鲁棒、实时视觉系统。
• 通过发布一个具有代表性、标准化的数据集，推动铁路自动化领域的开放科学。

提出的方法

• 数据采集在法国干线列车上进行，使用经过校准的摄像头和传感器，摄像头位置精心布置以匹配驾驶员视线高度并最小化振动影响。
• 图像曝光设置与 100 Hz LED 频率同步，以防止录制中出现闪烁伪影。
• 每张图像均通过人工标注边界框，并标注信号板类型和状态，确保高精度与一致性。
• 元数据（包括相机参数、时间戳、传感器类型、视频序列和轨道上下文）以 HDF5 格式记录，以支持可复现性和分析。
• 总数据的 10%（共 105,352 幅图像，分布在 393 个视频序列中）已公开发布，以支持研究和模型训练。
• 数据集包含六种法国铁路信号及其可能的颜色组合，标注了如“通行”、“接近”、“停车”等状态。

实验结果

研究问题

• RQ1 如何系统性地收集和标注大规模、真实世界的铁路信号灯图像数据集，以支持自动驾驶列车的感知？
• RQ2 法国铁路信号在视觉和环境方面的主要可变性因素是什么，这些因素如何影响检测与识别性能？
• RQ3 实际运行环境中信号板类型和状态的分布与现有基准或铁路自动化研究中的假设相比有何差异？
• RQ4 在捕捉高保真铁路信号图像时，特别是关于照明频率和传感器同步方面，会遇到哪些关键技术挑战？
• RQ5 开源此类数据集在多大程度上能加速自动驾驶列车视觉系统的发展？

主要发现

• FRSign 包含 105,352 幅独立图像，分布在 393 个视频序列中，其中超过 100,000 幅图像为法国铁路信号灯，已标注其类型和状态。
• 该数据集捕捉了广泛的信号板类型和状态，分布统计显示在不同运行条件下存在显著的可变性。
• 通过将曝光时间与 100 Hz 信号频率同步，采集过程成功缓解了常见的 LED 闪烁问题。
• 数据集包含全面的元数据，如相机参数、时间戳、传感器分辨率和视频序列标识符，支持详细分析和可复现性。
• 该数据集可在 https://frsign.irt-systemx.fr 公开获取，支持未来自动驾驶铁路系统的研究。
• 作者识别出数据采集中的关键挑战，包括获取许可、摄像头最佳位置选择以及传感器配置，这些挑战在本研究中已成功解决。