[论文解读] Driverseat: Crowdstrapping Learning Tasks for Autonomous Driving

Pranav Rajpurkar, Toki Migimatsu+5 more|arXiv (Cornell University)|Dec 7, 2015

Autonomous Vehicle Technology and Safety参考文献 22被引用 4

一句话总结

Driverseat 引入了一种众包标注框架，利用人类智能生成复杂的3D车道标签，并为多样的驾驶场景打标签，以实现对自动驾驶系统的稳健评估。通过结合基于 RoadEdit 的众包标注与基于 TagEval 的场景化评估，该系统训练了一个卷积神经网络用于车道检测，并识别出在阴影、路面变化和匝道等复杂条件下系统性能的薄弱环节，显著提升了系统的鲁棒性。

ABSTRACT

While emerging deep-learning systems have outclassed knowledge-based approaches in many tasks, their application to detection tasks for autonomous technologies remains an open field for scientific exploration. Broadly, there are two major developmental bottlenecks: the unavailability of comprehensively labeled datasets and of expressive evaluation strategies. Approaches for labeling datasets have relied on intensive hand-engineering, and strategies for evaluating learning systems have been unable to identify failure-case scenarios. Human intelligence offers an untapped approach for breaking through these bottlenecks. This paper introduces Driverseat, a technology for embedding crowds around learning systems for autonomous driving. Driverseat utilizes crowd contributions for (a) collecting complex 3D labels and (b) tagging diverse scenarios for ready evaluation of learning systems. We demonstrate how Driverseat can crowdstrap a convolutional neural network on the lane-detection task. More generally, crowdstrapping introduces a valuable paradigm for any technology that can benefit from leveraging the powerful combination of human and computer intelligence.

研究动机与目标

• 解决由于缺乏全面标注的数据集和稳健的评估策略而造成的自动驾驶研究瓶颈。
• 利用人类在真实驾驶场景中的专业知识，生成高质量、复杂的3D标签，用于深度学习模型的训练。
• 开发一种系统化的方法，用于在包括阴影、道路弯道和路面变化等多样化的现实驾驶条件下评估学习系统。
• 通过人工标注的场景标签识别自动驾驶感知系统的故障案例，指导有针对性的数据收集和模型优化。
• 建立一种‘众包驱动’（crowdstrapping）范式——整合人类与机器智能，以提升自动驾驶系统的可靠性和鲁棒性。

提出的方法

• Driverseat 使用基于网络的平台，通过 RoadEdit 工具从众包工作者处收集3D车道边界标注，实现对复杂道路结构的精确标注。
• 系统将3D车道标签投影到2D相机图像中，创建大规模、高质量的数据集，用于训练卷积神经网络进行车道检测。
• 在众包标注的数据集上训练卷积神经网络，并使用精确率和召回率指标在不同深度和场景下进行评估。
• TagEval 框架使标注人员能够为特定道路状况（如阴影、匝道和路面变化）打标签，从而实现基于场景的性能评估。
• 系统利用人工标注的场景标签隔离并分析模型故障，支持有针对性的数据收集和模型优化。
• 通过自动生成初始真实标签以减少人工工作量，提升标注流程的效率。

实验结果

研究问题

• RQ1 如何有效整合人类智能到自动驾驶感知系统的训练与评估流程中？
• RQ2 哪些类型的现实驾驶场景最能挑战用于车道检测的深度学习模型？
• RQ3 众包标注能否生成高质量、复杂的3D标签，使其优于自动化或合成标注方法？
• RQ4 基于场景的人工标签在多大程度上能提升对模型故障模式的识别能力？
• RQ5 如何系统性地结合人类与机器智能，以增强自动驾驶系统的鲁棒性？

主要发现

• 卷积神经网络在一般条件下对本车车道边界检测表现出强劲性能，精确率和召回率指标在短距离到中距离范围内显示出高准确性。
• 在存在阴影和路面变化的情况下，性能显著下降，模型常将反光区域误判为车道线。
• 匝道构成主要挑战，尤其在检测分流车道时，模型频繁遗漏即将出现的车道。
• 网络对道路弯道和遮挡保持鲁棒，即使车辆部分遮挡视野，也能正确检测车道边界。
• TagEval 显示，阴影和路面变化是最具挑战性的场景，某些情况下性能相比标准条件下降超过20%。
• 系统成功识别出特定的故障模式，支持针对高风险场景的针对性数据收集，以提升模型鲁棒性。