[论文解读] Efficient Traffic-Sign Recognition with Scale-aware CNN

Yuchen Yang, Shuo Liu+3 more|arXiv (Cornell University)|May 31, 2018

Hand Gesture Recognition Systems被引用 11

一句话总结

本文提出一种基于双多尺度全卷积网络（FCN）的尺度感知交通标志识别（TSR）系统，用于实现尺度不变的区域建议，同时采用一种轻量级基于Inception的分类网络并融合多尺度特征。该方法在瑞典交通标志数据集（STSD）上实现了99.88%的精确率和96.61%的召回率，优于当前最先进方法，且在资源受限的车载系统中具备更快的速度和更低的计算开销，适用于实时部署。

ABSTRACT

The paper presents a Traffic Sign Recognition (TSR) system, which can fast and accurately recognize traffic signs of different sizes in images. The system consists of two well-designed Convolutional Neural Networks (CNNs), one for region proposals of traffic signs and one for classification of each region. In the proposal CNN, a Fully Convolutional Network (FCN) with a dual multi-scale architecture is proposed to achieve scale invariant detection. In training the proposal network, a modified "Online Hard Example Mining" (OHEM) scheme is adopted to suppress false positives. The classification network fuses multi-scale features as representation and adopts an "Inception" module for efficiency. We evaluate the proposed TSR system and its components with extensive experiments. Our method obtains $99.88\%$ precision and $96.61\%$ recall on the Swedish Traffic Signs Dataset (STSD), higher than state-of-the-art methods. Besides, our system is faster and more lightweight than state-of-the-art deep learning networks for traffic sign recognition.

研究动机与目标

• 解决在真实驾驶场景中检测不同尺度交通标志的挑战，尤其是小尺寸标志常被遗漏的问题。
• 在光照不良与视觉杂乱的复杂环境中，提升检测召回率的同时最小化误报。
• 降低计算与内存开销，以支持在资源受限的车载系统中部署。
• 设计一种轻量、高效且高精度的TSR框架，使其在准确率与推理速度上超越现有基于深度学习的方法。

提出的方法

• 采用双多尺度全卷积网络（DMS-net），包含两个并行分支：一个来自较低层以检测小尺度标志，另一个来自最终层以检测大尺度标志。
• 将预先构建的图像金字塔作为DMS-net的输入，以实现不同感受野下的多尺度特征提取。
• 将在线难例挖掘（OHEM）方案与改进的损失函数结合，用于在区域建议网络训练过程中抑制误报。
• 设计一种轻量级分类网络，利用Inception模块融合多尺度特征，以增强表征学习能力。
• 将DMS-net用于区域建议生成，与基于特征融合的分类网络结合，构建端到端、高效的TSR流水线。
• 通过特征图拼接与全局平均池化操作，在保持计算效率的同时实现多尺度特征融合。

实验结果

研究问题

• RQ1 双多尺度FCN架构是否能有效检测涵盖广泛尺度的交通标志，尤其是小尺寸和远距离标志？
• RQ2 所提出的基于OHEM的训练方案在复杂道路场景中如何提升检测召回率并减少误报？
• RQ3 分类网络中多尺度特征融合相较于单尺度特征提取，能在多大程度上提升识别准确率？
• RQ4 在基准数据集上，该系统在准确率、速度与模型效率方面与当前最先进方法相比表现如何？

主要发现

• 所提出的尺度感知TSR系统在瑞典交通标志数据集（STSD）上实现了99.88%的精确率与96.61%的平均召回率，优于当前最先进方法。
• DMS-net在300个建议框下的平均召回率达到69.8%，在小尺寸与大尺寸交通标志上均比RPN高出4.6%。
• 消融实验表明，若移除小尺度或大尺度分支，性能显著下降，验证了双分支设计的必要性。
• 融合网络分类器相比基线方法将mAP提升了1.87%，且在STSD基准上比Faster R-CNN高出11.67%的mAP。
• 即使在建议框数量有限（如100个）的情况下，系统仍保持高性能，表明其在后续阶段具有高效性与较低计算负载。
• 整个系统比现有基于深度学习的TSR网络更轻量、更快，适用于车载系统中的实时部署。