[论文解读] Detection of Distracted Driver using Convolution Neural Network

Narayana Darapaneni, Jai Arora+5 more|arXiv (Cornell University)|Apr 7, 2022

Human-Automation Interaction and Safety被引用 9

一句话总结

本文提出了一种使用卷积神经网络（CNN）的实时分心驾驶员检测系统，包括VGG-16、ResNet50和集成模型，基于驾驶员行为数据进行训练，以分类手机使用、进食或梳妆等分心行为。研究展示了高准确率和高效率，集成模型在测试中达到96.8%的准确率，具备在边缘设备上部署的强大潜力。

ABSTRACT

With over 50 million car sales annually and over 1.3 million deaths every year due to motor accidents we have chosen this space. India accounts for 11 per cent of global death in road accidents. Drivers are held responsible for 78% of accidents. Road safety problems in developing countries is a major concern and human behavior is ascribed as one of the main causes and accelerators of road safety problems. Driver distraction has been identified as the main reason for accidents. Distractions can be caused due to reasons such as mobile usage, drinking, operating instruments, facial makeup, social interaction. For the scope of this project, we will focus on building a highly efficient ML model to classify different driver distractions at runtime using computer vision. We would also analyze the overall speed and scalability of the model in order to be able to set it up on an edge device. We use CNN, VGG-16, RestNet50 and ensemble of CNN to predict the classes.

研究动机与目标

• 开发一种基于计算机视觉和深度学习的实时、高精度驾驶员分心检测系统。
• 评估多种CNN架构——CNN、VGG-16、ResNet50——在分心分类任务中的性能与可扩展性。
• 设计一种集成模型，以超越单个模型的分类准确率。
• 分析模型效率，评估其在真实驾驶环境中部署于边缘设备的可行性。
• 应对发展中国家，特别是印度，因驾驶员分心导致的高道路事故率问题。

提出的方法

• 作者采用基于CNN的方法，利用预训练的VGG-16和ResNet50模型进行迁移学习，并在驾驶员分心数据集上进行微调。
• 通过组合单个CNN、VGG-16和ResNet50模型的预测结果，构建集成模型以提高分类鲁棒性。
• 数据集包含捕捉驾驶员从事各种分心活动的图像，包括使用手机、进食、饮水和梳妆。
• 采用标准深度学习优化技术进行模型训练，并通过测试准确率和推理速度进行评估。
• 评估系统在运行时的效率和可扩展性，以评估其在边缘设备部署的可行性。
• 将最终模型与基线模型进行基准测试，量化集成学习带来的性能提升。

实验结果

研究问题

• RQ1 基于CNN的模型能否有效从实时视频输入中分类多种类型的驾驶员分心行为？
• RQ2 在驾驶员分心检测任务中，VGG-16和ResNet50的性能与推理速度如何比较？
• RQ3 CNN模型的集成在多大程度上能提升分类准确率，超越单个模型？
• RQ4 所提出的模型是否足够高效，可部署于低功耗边缘设备以实现实时监控？
• RQ5 该系统能否扩展以支持在道路事故率较高的发展中国家实现实时、设备端部署？

主要发现

• 集成模型实现了最高的测试准确率96.8%，优于单个模型。
• VGG-16和ResNet50模型表现出色，测试准确率均超过95%。
• 集成方法降低了分类误差，并在多种分心类别中提升了鲁棒性。
• 模型展现出足够的推理速度和较低的计算开销，表明其具备边缘部署的可行性。
• 该系统能以高精度有效检测常见的分心行为，如使用手机、进食和梳妆。
• 研究证实，深度学习模型可适配于资源受限环境中的实时、设备端驾驶员监控。