[论文解读] Keep Your AI-es on the Road: Tackling Distracted Driver Detection with Convolutional Neural Networks and Targeted Data Augmentation

Nikka Mofid, Jasmine Bayrooti+1 more|arXiv (Cornell University)|Jun 19, 2020

Face recognition and analysis被引用 7

一句话总结

该论文提出了一种基于ResNet-50并结合目标数据增强技术（包括面部模糊、皮肤分割和经典增强）的鲁棒多类别分心驾驶员检测系统，相较于基线模型，F1分数提升了15%。该方法通过聚焦于驾驶员姿势，减少了对面部特征和背景噪声的过拟合，从而提升了模型的泛化能力。

ABSTRACT

According to the World Health Organization, distracted driving is one of the leading cause of motor accidents and deaths in the world. In our study, we tackle the problem of distracted driving by aiming to build a robust multi-class classifier to detect and identify different forms of driver inattention using the State Farm Distracted Driving Dataset. We utilize combinations of pretrained image classification models, classical data augmentation, OpenCV based image preprocessing and skin segmentation augmentation approaches. Our best performing model combines several augmentation techniques, including skin segmentation, facial blurring, and classical augmentation techniques. This model achieves an approximately 15% increase in F1 score over the baseline, thus showing the promise in these techniques in enhancing the power of neural networks for the task of distracted driver detection.

研究动机与目标

• 解决由于训练数据有限和相机视角一致而导致的分心驾驶员检测中的过拟合问题。
• 通过有针对性的图像预处理和增强技术，提升模型在不同驾驶员和视角下的泛化能力。
• 通过在10种不同的驾驶员行为类别上训练多分类器，聚焦于视觉和手动分心（不包括认知分心）。
• 使用F1分数、精确率和召回率作为关键指标，评估不同增强技术对模型性能的影响。
• 开发一种鲁棒的分类器，强调驾驶员姿势，同时最小化对可能因个体差异而变化的面部特征的依赖。

提出的方法

• 使用预训练的ResNet-50作为图像分类的基础CNN架构。
• 应用随机旋转和亮度调整等经典数据增强技术，以增加训练数据的多样性。
• 采用基于OpenCV的面部模糊技术，减少模型对面部特征的过拟合，促进对身体姿势的关注。
• 生成皮肤分割图像，仅突出显示驾驶员的身体，旨在抑制背景噪声并强调姿势。
• 将面部模糊、皮肤分割和经典增强等多种增强技术整合为集成方法，以最大化特征学习和泛化能力。
• 使用显著性图解释模型注意力，验证模型是否聚焦于相关身体区域（如手臂、胸部），而非面部或无关背景。

实验结果

研究问题

• RQ1 不同的数据增强策略如何影响CNN在分心驾驶员检测中的F1分数和泛化性能？
• RQ2 面部模糊是否通过减少对驾驶员图像中面部特征的过拟合来提升模型鲁棒性？
• RQ3 皮肤分割增强是否能提升模型对驾驶员姿势的关注，还是引入了噪声导致性能下降？
• RQ4 多种增强技术的组合对模型性能和注意力分布有何综合影响？
• RQ5 显著性图在多大程度上能证实模型学习到关注姿势相关特征，而非虚假的图像模式？

主要发现

• 所有增强技术的集成方法达到了最高的F1分数0.662，相较于基线模型提升了约15%。
• 仅使用面部模糊即提升了模型性能，显著性图显示注意力更多集中于手臂和躯干，证实其减少了对面部特征的过拟合。
• 仅使用皮肤分割增强导致性能下降，可能是因为模型对被遮挡区域过拟合，或将分割掩码误认为有意义特征。
• 所有增强方法的组合使模型对驾驶员姿势的注意力最清晰，同时降低了对背景和面部细节的敏感性，显著性图可视化结果证实了这一点。
• 最终模型通过增强技术将有效训练集规模扩大了四倍，有助于提升泛化能力和鲁棒性。
• 消融实验表明，结合多种增强策略的效果优于单一技术，尤其在结合显著性图等可解释性工具进行指导时更为显著。