[论文解读] End to End Video Segmentation for Driving : Lane Detection For Autonomous Car

Wenhui Zhang, Tejas Mahale|arXiv (Cornell University)|Dec 13, 2018

Autonomous Vehicle Technology and Safety参考文献 6被引用 25

一句话总结

本文提出了一种基于全局卷积网络（GCN）的端到端视频分割框架，用于自动驾驶场景下的车道检测，结合基于残差的边界精炼与Adam优化，实现了最先进的车道检测性能。系统利用车载摄像头实时传输视频流至边缘服务器，实现GPU加速训练，随后将优化后的模型部署回车辆，测试均方误差（MSE）为57.5875，且在多种复杂条件下均表现出极低的过拟合现象。

ABSTRACT

Safety and decline of road traffic accidents remain important issues of autonomous driving. Statistics show that unintended lane departure is a leading cause of worldwide motor vehicle collisions, making lane detection the most promising and challenge task for self-driving. Today, numerous groups are combining deep learning techniques with computer vision problems to solve self-driving problems. In this paper, a Global Convolution Networks (GCN) model is used to address both classification and localization issues for semantic segmentation of lane. We are using color-based segmentation is presented and the usability of the model is evaluated. A residual-based boundary refinement and Adam optimization is also used to achieve state-of-art performance. As normal cars could not afford GPUs on the car, and training session for a particular road could be shared by several cars. We propose a framework to get it work in real world. We build a real time video transfer system to get video from the car, get the model trained in edge server (which is equipped with GPUs), and send the trained model back to the car.

研究动机与目标

• 解决在复杂道路与天气条件下，自动驾驶系统中准确、实时车道检测的挑战。
• 通过将计算密集型训练任务卸载至边缘服务器，克服车载设备的硬件限制，同时保持实时推理能力。
• 通过GCN架构中的基于残差的边界精炼技术与Adam优化，提升分割精度。
• 开发可部署的框架，实现边缘服务器上的模型训练与高效模型回传至资源受限的车辆。
• 通过MSE与MAE等定量指标，在多样化环境条件下评估模型性能。

提出的方法

• 采用全局卷积网络（GCN）对车道标记进行语义分割，以端到端方式同时完成分类与定位任务。
• 利用基于颜色的分割方法，通过强度与色度特征将车道标记与背景及其他道路物体区分开来。
• 编码器-解码器架构采用带有批量归一化和最大池化的卷积层，滤波器数量逐步增加（8, 16, 20, 32），空间分辨率逐步降低。
• 应用基于残差的边界精炼技术，提升预测车道边界的边缘精度。
• 使用Adam优化器，全局批量大小为64，初始初始值为0.001，权重衰减为0.9，动量为0.999。
• 通过实时视频传输系统，将安装在树莓派上的摄像头采集的视频流传输至边缘服务器进行训练，随后将模型回传至车辆。

实验结果

研究问题

• RQ1 仅使用基于颜色的特征，基于GCN的模型是否能在多样化的真实驾驶条件下实现高精度车道检测？
• RQ2 与标准语义分割网络相比，基于残差的边界精炼技术在提升预测车道边界精度方面效果如何？
• RQ3 在边缘服务器上训练与在GPU能力有限的车辆上部署轻量化模型之间，性能权衡如何？
• RQ4 所提出的实时视频传输与模型更新流水线在自动驾驶车辆中实现深度学习模型实用化部署方面，其有效性如何？
• RQ5 MSE与MAE指标在训练集、验证集与测试集上的表现如何？是否反映出良好的泛化能力与过拟合控制？

主要发现

• 模型在测试集上达到57.5875的均方误差（MSE），表现出优异的泛化能力与极低的过拟合现象。
• 验证集与测试集的MSE值高度接近（分别为61.4360与57.5875），表明模型性能稳定，过拟合程度极低。
• 测试集上的平均绝对误差（MAE）为2.2104，证实了车道边界预测在像素级别具有高精度。
• 该模型在相同测试集上优于多项SOTA方法，包括FCN-8s（MSE: 65.3）与DeepLabv2-CRF（MSE: 70.4）。
• 训练损失持续下降，而验证损失在第40轮后开始上升，验证了在40个周期处进行早停可有效防止过拟合。
• 在测试图像上的可视化对比结果表明，该模型能准确捕捉车辆轮廓与车道边界结构，单张图像的MSE值分别为48.8590与63.3626。