[论文解读] Challenging Environments for Traffic Sign Detection: Reliability Assessment under Inclement Conditions

Dogancan Temel, Tariq Alshawi+2 more|arXiv (Cornell University)|Feb 19, 2019

Infrastructure Maintenance and MonitoringEngineering参考文献 47被引用 20

一句话总结

本文提出了 CURE-TSD 数据集，这是一个基于视频的交通标志检测基准，涵盖雨天、雪天、雾霾及低光照等真实且具有挑战性的条件。该研究在这些条件下评估了最先进深度学习模型的性能，发现性能显著下降——在严重条件下平均精确率损失达 0.17，召回率损失达 0.28，凸显了自动驾驶系统中对更鲁棒算法的迫切需求。

ABSTRACT

State-of-the-art algorithms successfully localize and recognize traffic signs over existing datasets, which are limited in terms of challenging condition type and severity. Therefore, it is not possible to estimate the performance of traffic sign detection algorithms under overlooked challenging conditions. Another shortcoming of existing datasets is the limited utilization of temporal information and the unavailability of consecutive frames and annotations. To overcome these shortcomings, we generated the CURE-TSD video dataset and hosted the first IEEE Video and Image Processing (VIP) Cup within the IEEE Signal Processing Society. In this paper, we provide a detailed description of the CURE-TSD dataset, analyze the characteristics of the top performing algorithms, and provide a performance benchmark. Moreover, we investigate the robustness of the benchmarked algorithms with respect to sign size, challenge type and severity. Benchmarked algorithms are based on state-of-the-art and custom convolutional neural networks that achieved a precision of 0.55 and a recall of 0.32, F0.5 score of 0.48 and F2 score of 0.35. Experimental results show that benchmarked algorithms are highly sensitive to tested challenging conditions, which result in an average performance drop of 0.17 in terms of precision and a performance drop of 0.28 in recall under severe conditions. The dataset is publicly available at https://github.com/olivesgatech/CURE-TSD.

研究动机与目标

• 解决现有交通标志检测数据集中缺乏全面真实世界挑战条件的问题。
• 为评估交通标志检测算法在各种环境退化条件下的鲁棒性提供基准。
• 分析挑战类型、严重程度以及标志尺寸对算法性能的影响。
• 探究模拟（合成）环境中的表现与真实世界条件之间是否存在相关性。
• 推动开发更鲁棒的深度学习模型，以应对自动驾驶感知系统在恶劣天气和光照条件下的挑战。

提出的方法

• 生成了包含 100 多段视频序列的 CURE-TSD 视频数据集，真实捕捉了雨天、雪天、雾霾、低光照及过曝等挑战性条件下的交通标志。
• 举办 IEEE 视频与图像处理杯 2017，以 CURE-TSD 数据集为基准，评估顶尖检测算法的表现。
• 使用标准指标（精确率、召回率、F0.5 和 F2 分数）评估了四支顶尖团队模型在不同挑战类型和严重程度下的表现。
• 基于尺寸指标（x 轴）对挑战进行严重程度分类，其中标志越小表示挑战等级越高，并分析了性能趋势。
• 将测试集划分为真实世界数据和合成数据，计算两个领域间性能的斯皮尔曼等级相关系数。
• 通过比较不同挑战类型（如雾霾、降雨、编解码错误）和标志尺寸下的性能，分析算法鲁棒性。

实验结果

研究问题

• RQ1 最先进交通标志检测模型在真实且严重的环境挑战（如降雨、降雪和低光照）下表现如何？
• RQ2 在挑战性条件下，标志尺寸与检测性能之间存在何种关系？
• RQ3 检测算法在不同类型的环境退化及不同严重程度下的表现有何差异？
• RQ4 在模拟（合成）环境中表现如何，能在多大程度上预测真实世界中相同条件下的鲁棒性？
• RQ5 哪些算法架构在交通标志检测中对环境退化表现出最高的鲁棒性？

主要发现

• 表现最佳的算法在 CURE-TSD 基准测试中达到精确率为 0.55，召回率为 0.32，F0.5 得分为 0.48，F2 得分为 0.35。
• 在严重挑战条件下，平均精确率下降 0.17，召回率下降 0.28，表明对环境退化高度敏感。
• Team Neurons 在所有标志尺寸级别中均表现最佳，而 Team IIP 表现下降最显著，尤其受编解码错误和降雨影响。
• Team IIP 和 Team Markovians 的性能波动最为明显，其中 Team Markovians 虽召回率和 F2 分数波动较小，但在雾霾条件下表现极差。
• 真实世界与合成环境之间性能的斯皮尔曼相关系数为召回率 0.915，精确率 0.781，表明模拟环境测试具有较强的鲁棒性预测能力。
• 本研究表明，当前深度学习模型对环境挑战极为脆弱，凸显了在自动驾驶感知系统中开发更鲁棒算法设计的迫切需求。