[论文解读] DFR-TSD: A Deep Learning Based Framework for Robust Traffic Sign Detection Under Challenging Weather Conditions

Sabbir Ahmed, Uday Kamal+1 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Neural Network Applications参考文献 38被引用 11

一句话总结

本文提出 DFR-TSD，一种模块化深度学习框架，通过使用专门针对交通标志区域训练的挑战感知图像增强模块（Enhance-Net），在恶劣天气条件下提升交通标志检测性能。该方法在 CURE-TSD 数据集上实现了 91.13% 的精确率和 70.71% 的召回率——分别较当前最先进方法（SOTA）提升 7.58% 和 35.90%，其核心包括基于 VGG16 的挑战分类器、面向标志区域的增强技术，以及独立的检测与分类网络。

ABSTRACT

Robust traffic sign detection and recognition (TSDR) is of paramount importance for the successful realization of autonomous vehicle technology. The importance of this task has led to a vast amount of research efforts and many promising methods have been proposed in the existing literature. However, the SOTA (SOTA) methods have been evaluated on clean and challenge-free datasets and overlooked the performance deterioration associated with different challenging conditions (CCs) that obscure the traffic images captured in the wild. In this paper, we look at the TSDR problem under CCs and focus on the performance degradation associated with them. To overcome this, we propose a Convolutional Neural Network (CNN) based TSDR framework with prior enhancement. Our modular approach consists of a CNN-based challenge classifier, Enhance-Net, an encoder-decoder CNN architecture for image enhancement, and two separate CNN architectures for sign-detection and classification. We propose a novel training pipeline for Enhance-Net that focuses on the enhancement of the traffic sign regions (instead of the whole image) in the challenging images subject to their accurate detection. We used CURE-TSD dataset consisting of traffic videos captured under different CCs to evaluate the efficacy of our approach. We experimentally show that our method obtains an overall precision and recall of 91.1% and 70.71% that is 7.58% and 35.90% improvement in precision and recall, respectively, compared to the current benchmark. Furthermore, we compare our approach with SOTA object detection networks, Faster-RCNN and R-FCN, and show that our approach outperforms them by a large margin.

研究动机与目标

• 解决现有交通标志检测与识别（TSDR）方法在真实世界挑战性条件（CCs），如雾霾、降雨和降雪等场景下性能显著下降的问题。
• 开发一种稳健且模块化的深度学习框架，通过针对交通标志区域的先验图像增强，显式处理挑战性条件（CCs）。
• 通过在无挑战和挑战性数据上联合训练增强网络，提升恶劣天气下的检测与识别准确率。
• 在严重挑战性条件下，超越端到端目标检测模型（如 Faster R-CNN 和 R-FCN）在精确率与召回率方面的表现。
• 证明面向交通标志区域的特定增强方法，相较于全图增强，更具有效性。

提出的方法

• 基于 VGG16 的挑战分类器用于识别并分类输入图像中的挑战性条件类型（如雾霾、降雨等）。
• 设计专用训练流程，利用新型损失函数联合优化像素级与特征级平均绝对误差（MAE），仅在交通标志区域上训练 Enhance-Net，同时受制于标志检测损失。
• Enhance-Net 是一种 U-Net 架构的编码器-解码器卷积神经网络，仅对检测到的标志区域进行增强，同时保持形状与色彩保真度。
• 框架采用两个独立的卷积神经网络：一个基于 Faster R-CNN 架构用于交通标志检测，另一个用于分类任务。
• 整个流程为模块化设计：挑战分类 → 标志区域增强 → 检测 → 分类，支持各组件独立优化。
• 使用 TensorFlow Object Detection API，在 CURE-TSD 数据集的无挑战与挑战性部分联合训练模型，并采用 COCO 预训练权重。

实验结果

研究问题

• RQ1 在恶劣天气条件下，是否能够通过面向交通标志区域的增强技术，使模块化深度学习框架在性能上超越端到端目标检测器（如 Faster R-CNN 和 R-FCN）？
• RQ2 仅在交通标志区域上训练增强网络，而非全图，是否能带来更优的检测性能？
• RQ3 随着挑战性条件程度的增加，性能如何退化？挑战感知增强策略能否有效缓解这一退化？
• RQ4 通过将增强任务与检测和分类任务解耦，是否能够实现更高的精确率与召回率？
• RQ5 在提升 TSDR 任务鲁棒性方面，面向标志区域的特定增强相较于全图增强，其相对贡献如何？

主要发现

• DFR-TSD 在 CURE-TSD 数据集上实现 91.13% 的精确率与 70.71% 的召回率，相较当前最先进方法（SOTA）分别提升 7.58% 和 35.90%。
• 该框架在性能上显著超越 Faster R-CNN（58.17% 精确率，46.03% 召回率）与 R-FCN（53.31% 精确率，44.48% 召回率），尤其在严重挑战性条件下的召回率表现更优。
• 面向标志区域的增强策略在应对挑战性条件升级时，能更有效地减少性能下降，表现为在挑战等级逐步提升过程中，精确率与召回率的下降幅度最小。
• 在无挑战与挑战性数据上联合训练检测与分类网络可显著提升鲁棒性，但仅当结合挑战性特定增强时才有效。
• 消融实验证实，仅增强标志区域比全图增强更具有效性，因其能更好保留对检测至关重要的特征。
• 模块化设计支持各组件独立优化，为未来探索各阶段最优网络架构提供了可能。