[论文解读] Driver Behavior Analysis Using Lane Departure Detection Under Challenging Conditions

Luis G. Riera, Koray Özcan+4 more|arXiv (Cornell University)|May 31, 2019

Autonomous Vehicle Technology and Safety参考文献 18被引用 9

一句话总结

本文提出了一种基于深度学习的车道偏离检测系统，采用Mask-RCNN进行车道分割，结合固定滞后卡尔曼滤波进行跟踪，可在低分辨率、噪声较大的视频中实现对车道变更和侵入行为的鲁棒检测。该方法在糖尿病高风险驾驶员的自定义数据集上检测车道偏离事件的灵敏度达到81.81%。

ABSTRACT

In this paper, we present a novel model to detect lane regions and extract lane departure events (changes and incursions) from challenging, lower-resolution videos recorded with mobile cameras. Our algorithm used a Mask-RCNN based lane detection model as pre-processor. Recently, deep learning-based models provide state-of-the-art technology for object detection combined with segmentation. Among the several deep learning architectures, convolutional neural networks (CNNs) outperformed other machine learning models, especially for region proposal and object detection tasks. Recent development in object detection has been driven by the success of region proposal methods and region-based CNNs (R-CNNs). Our algorithm utilizes lane segmentation mask for detection and Fix-lag Kalman filter for tracking, rather than the usual approach of detecting lane lines from single video frames. The algorithm permits detection of driver lane departures into left or right lanes from continuous lane detections. Preliminary results show promise for robust detection of lane departure events. The overall sensitivity for lane departure events on our custom test dataset is 81.81%.

研究动机与目标

• 开发一种能够处理移动摄像头在真实驾驶条件下采集的低分辨率、噪声视频记录的鲁棒车道偏离检测系统。
• 提升对高风险人群（如糖尿病患者）中常见的不安全驾驶行为（特别是车道侵入和车道变更）的检测能力。
• 通过利用深度学习实现更精确的车道分割与跟踪，克服传统基于图像特征的车道检测方法的局限性。
• 实现实时或近实时的车道偏离检测应用，适用于高级驾驶辅助系统（ADAS）和道路安全干预措施。
• 支持从高风险驾驶员处收集的TB级视频数据集的大规模数据分析，用于纵向行为研究。

提出的方法

• 采用基于Mask-RCNN的模型作为预处理器，对车道区域进行实例分割，生成像素级掩码以实现精确的车道边界检测。
• 通过跟踪分割后车道掩码凸包的质心，随时间推移确定车辆相对于图像垂直中心线的横向位置。
• 应用固定滞后卡尔曼滤波对质心位置的时间序列进行平滑处理，降低噪声并提高跟踪稳定性。
• 基于质心横向偏移的时间变化对车道偏离事件进行分类：通过阈值处理和峰值检测，在平滑后的偏移信号上识别左/右车道变更或侵入。
• 通过基于峰值幅度和持续时间的决策逻辑，区分车道变更（持续偏离）与侵入（短暂偏离后返回原车道）。
• 对平滑后的偏移信号应用镜像函数，以增强对称偏离的检测能力，并提高对噪声的鲁棒性。

实验结果

研究问题

• RQ1 基于Mask-RCNN的分割模型是否能在移动摄像头采集的低分辨率、噪声较大的视频记录中实现可靠的车道检测？
• RQ2 在视觉条件恶劣的情况下，质心跟踪与卡尔曼滤波在检测和分类车道偏离事件（包括侵入）方面的有效性如何？
• RQ3 该系统在真实世界高风险糖尿病驾驶员数据集上检测车道偏离事件的灵敏度如何？
• RQ4 噪声和透视失真（如啁啾效应）对车道偏离检测性能有何影响？平滑技术能否有效缓解这些问题？
• RQ5 该系统在车辆级ADAS或临床监测系统中实现实时部署的适应性如何？

主要发现

• Mask-RCNN模型在测试数据集上达到0.82的平均精度（mAP），表明其在车道实例分割方面表现优异。
• 检测车道偏离事件的整体灵敏度为81.81%，计算公式为TP / (TP + FN)，表明对不安全车道偏离行为具有可靠的检测能力。
• 系统在测试集中成功检测到3例车道侵入中的2例，表明该类事件的检测性能中等但具有潜力。
• 模型在车道检测中对偏移噪声表现出高度敏感性，影响了峰值检测与事件分类的准确性。
• 平滑技术（包括镜像函数与卡尔曼滤波）虽提升了信号稳定性，但未能完全消除对噪声和透视失真的敏感性。
• 采用凸包质心跟踪的方法为估计车辆相对于车道中心的横向位置提供了鲁棒手段，从而实现了有效的行为分类。