[论文解读] DSNet for Real-Time Driving Scene Semantic Segmentation

Wenfu Wang, Zhijie Pan|arXiv (Cornell University)|Dec 6, 2018

Advanced Neural Network Applications参考文献 19被引用 13

一句话总结

本文提出DSNet，一种用于驾驶场景语义分割的实时、高效深度神经网络，结合了ShuffleNet V2和ENet的网络结构优势，并引入一种新型的驾驶重要性加权损失函数，以优先处理关键驾驶物体。在Cityscapes数据集上，DSNet在验证集上达到71.8%的平均交并比（IoU），在测试集上达到69.3%，相较于ENet在准确率上提升18.9%，推理速度提升1.1倍。

ABSTRACT

We focus on the very challenging task of semantic segmentation for autonomous driving system. It must deliver decent semantic segmentation result for traffic critical objects real-time. In this paper, we propose a very efficient yet powerful deep neural network for driving scene semantic segmentation termed as Driving Segmentation Network (DSNet). DSNet achieves state-of-the-art balance between accuracy and inference speed through efficient units and architecture design inspired by ShuffleNet V2 and ENet. More importantly, DSNet highlights classes most critical with driving decision making through our novel Driving Importance-weighted Loss. We evaluate DSNet on Cityscapes dataset, our DSNet achieves 71.8% mean Intersection-over-Union (IoU) on validation set and 69.3% on test set. Class-wise IoU scores show that Driving Importance-weighted Loss could improve most driving critical classes by a large margin. Compared with ENet, DSNet is 18.9% more accurate and 1.1+ times faster which implies great potential for autonomous driving application.

研究动机与目标

• 为解决自动驾驶系统中实时、高精度语义分割的挑战。
• 提升直接影响驾驶决策的交通关键物体的分割性能。
• 在实际自动驾驶车辆中实现模型效率与精度的平衡。
• 开发一种优先考虑与驾驶安全最相关类别的损失函数。

提出的方法

• DSNet采用受ShuffleNet V2和ENet启发的高效网络架构，以确保高推理速度和低计算成本。
• 网络使用深度可分离卷积和通道混洗操作，在保持特征表示的同时降低浮点运算量（FLOPs）。
• 提出一种新型的驾驶重要性加权损失函数，为对驾驶决策至关重要的类别（如车辆、行人和道路）分配更高的损失权重。
• 通过更严厉惩罚误分类情况，该损失函数增强了对安全关键类别的特征学习能力。
• 架构设计采用适合移动设备的组件，以支持在边缘设备上实现实时推理。
• 训练在Cityscapes数据集上进行，采用标准的数据增强和优化技术。

实验结果

研究问题

• RQ1 轻量级神经网络能否在实时驾驶场景语义分割任务中实现最先进水平的准确率与速度？
• RQ2 针对驾驶场景设计的损失函数在提升安全关键类别分割性能方面效果如何？
• RQ3 在多大程度上可以将ShuffleNet V2和ENet的架构效率相结合，以优化推理速度与准确率？
• RQ4 驾驶重要性加权损失是否能显著提升关键驾驶物体的IoU指标？
• RQ5 与现有模型（如ENet）相比，DSNet在准确率和推理速度方面表现如何？

主要发现

• DSNet在Cityscapes验证集上达到71.8%的平均交并比（IoU），表明其具备高水平的分割准确率。
• 在Cityscapes测试集上，DSNet实现69.3%的平均IoU，证实其具有出色的泛化能力。
• 驾驶重要性加权损失显著提升了关键驾驶物体（如车辆和行人）的类别级IoU。
• 与ENet相比，DSNet在平均IoU上高出18.9%，同时推理速度提升1.1倍以上。
• 该模型保持了高度的效率，适合在自动驾驶系统中实现实时部署。
• 类别级IoU分析表明，该损失函数有效提升了对安全关键类别的分割效果。