[论文解读] Go-CaRD - Generic, Optical Car Part Recognition and Detection: Collection, Insights, and Applications.

Lukas Stappen, Xinchen Du+3 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Neural Network Applications参考文献 19被引用 6

一句话总结

本文提出 Go-CaRD，一种基于深度学习的通用光学系统，用于识别和检测 29 种车内和车外零部件。该研究提出了三个新数据集，并展示了最先进性能，识别任务取得 93.67% 的 F1 分数（ResNet50 模型），检测任务取得 58.20% 的 mAP（最佳 Darknet 模型），并深入探讨了联合学习与迁移学习的应用。

ABSTRACT

Systems for the automatic recognition and detection of automotive parts are crucial in several emerging research areas in the development of intelligent vehicles. They enable, for example, the detection and modelling of interactions between human and the vehicle. In this paper, we present three suitable datasets as well as quantitatively and qualitatively explore the efficacy of state-of-the-art deep learning architectures for the localisation of 29 interior and exterior vehicle regions, independent of brand, model, and environment. A ResNet50 model achieved an F1 score of 93.67 % for recognition, while our best Darknet model achieved an mAP of 58.20 % for detection. We also experiment with joint and transfer learning approaches and point out potential applications of our systems.

研究动机与目标

• 开发一种通用的、与品牌和车型无关的系统，利用光学数据识别和检测车辆零部件。
• 解决在多样化环境中，车内和车外零部件识别缺乏标准化数据集的问题。
• 评估最先进深度学习架构在定位 29 个特定车辆区域方面的性能。
• 探索联合学习与迁移学习在提升识别与检测性能方面的有效性。
• 在智能车辆研究中展示该系统在实际应用中的潜力。

提出的方法

• 收集了三个新数据集，涵盖多种品牌、车型及环境条件下的 29 种车内和车外零部件图像，具有高度多样性。
• 应用 ResNet50 实现端到端车辆零部件识别，采用 Softmax 分类并以 F1 分数进行评估。
• 实现基于 Darknet 的 YOLO 风格模型用于目标检测，采用平均精度（mAP）进行评估。
• 通过在收集的数据集上微调 ImageNet 预训练权重，应用迁移学习以提升模型泛化能力。
• 应用联合学习策略，同时优化识别与检测任务。
• 使用标准指标评估模型性能：识别任务使用 F1 分数，检测任务使用 mAP。

实验结果

研究问题

• RQ1 最先进深度学习模型在跨多种品牌、车型及环境条件下识别 29 种通用车辆零部件方面的有效性如何？
• RQ2 在车辆零部件定位背景下，识别模型与检测模型之间的性能差距有多大？
• RQ3 迁移学习与联合学习在所提出数据集上能在多大程度上提升识别与检测的准确性？
• RQ4 在该特定任务中，不同架构（ResNet50 与 Darknet）在 F1 分数与 mAP 表现上如何比较？
• RQ5 一种通用的光学车辆零部件识别与检测系统在智能车辆研究中的实际应用有哪些？

主要发现

• ResNet50 模型在车辆零部件识别任务中取得了 93.67% 的 F1 分数，表现出强大的分类性能。
• 表现最佳的基于 Darknet 的模型在目标检测任务中取得了 58.20% 的 mAP，表明在该数据集上具备中等检测能力。
• 迁移学习显著提升了模型收敛速度与性能，尤其是在数据量有限或数据多样性较高的情况下。
• 联合学习策略在提升模型在识别与检测任务间泛化能力方面展现出良好前景。
• 所提出的数据集使无需依赖特定品牌、车型或环境的通用车辆零部件识别与检测系统能够实现基准测试。
• 该系统支持实际应用，如人车交互建模与智能车辆行为分析。