[论文解读] KIT MOMA: A Mobile Machines Dataset

Yusheng Xiang, Hongzhe Wang+5 more|arXiv (Cornell University)|Jul 8, 2020

Optimization and Search Problems参考文献 50被引用 5

一句话总结

KIT MOMA 是一个大规模、公开可用的视觉数据集，包含 5,663 幅真实世界图像，涵盖八种常见的移动施工机械，数据来自地面固定摄像头拍摄，旨在为目标检测算法提供基准测试。在该数据集上训练的 YOLO v3 在整体数据集上达到 85% 的平均精度均值（mAP），在排除分布外样本后提升至 90.7%，展现出在封闭场地环境中对自主移动机械检测的强大性能。

ABSTRACT

Mobile machines typically working in a closed site, have a high potential to utilize autonomous driving technology. However, vigorously thriving development and innovation are happening mostly in the area of passenger cars. In contrast, although there are also many research pieces about autonomous driving or working in mobile machines, a consensus about the SOTA solution is still not achieved. We believe that the most urgent problem that should be solved is the absence of a public and challenging visual dataset, which makes the results from different researches comparable. To address the problem, we publish the KIT MOMA dataset, including eight classes of commonly used mobile machines, which can be used as a benchmark to evaluate the SOTA algorithms to detect mobile construction machines. The view of the gathered images is outside of the mobile machines since we believe fixed cameras on the ground are more suitable if all the interesting machines are working in a closed site. Most of the images in KIT MOMA are in a real scene, whereas some of the images are from the official website of top construction machine companies. Also, we have evaluated the performance of YOLO v3 on our dataset, indicating that the SOTA computer vision algorithms already show an excellent performance for detecting the mobile machines in a specific working site. Together with the dataset, we also upload the trained weights, which can be directly used by engineers from the construction machine industry. The dataset, trained weights, and updates can be found on our Github. Moreover, the demo can be found on our Youtube.

研究动机与目标

• 为解决当前缺乏公开、高质量的移动施工机械视觉数据集的问题，该问题阻碍了自主驾驶研究中的可比性与进展。
• 创建一个标准化基准，用于评估真实建筑工地场景下目标检测算法的性能。
• 通过提供预训练模型和标注数据，支持计算机视觉在建筑行业的实际部署。
• 通过包含遮挡、姿态多变及复杂背景的多样化真实图像，提升检测模型的鲁棒性。

提出的方法

• 从真实建筑工地和官方制造商网站收集了 5,663 幅图像，聚焦于外部、地面视角，以反映真实的自主驾驶条件。
• 使用 PASCAL VOC 格式对八种类别的 19,977 个目标实例（例如挖掘机、轮式装载机、推土机）进行标注，以确保与标准计算机视觉流程的兼容性。
• 在数据集上训练 YOLO v3 以评估最先进性能，在通用和特定场地测试集上均取得了高 mAP。
• 识别出模型的失败案例——尤其是因视觉特征相似导致的轮式装载机误报——并通过重新训练包含误分类样本的数据集来提升准确性。
• 在 GitHub 和 YouTube 上发布预训练模型权重和代码，以支持工业界立即使用并确保可复现性。
• 计划未来扩展以包含像素级语义分割以及稀有姿态（如被掩埋或极端姿态）的数据，以提升模型的泛化能力。

实验结果

研究问题

• RQ1 一个公开的、真实世界的图像数据集能否显著提升移动施工机械目标检测研究的可比性与可复现性？
• RQ2 现有 SOTA 目标检测模型（如 YOLO v3）在专门针对真实建筑环境中移动机械的多样化数据集上表现如何？
• RQ3 当前检测器在应用于移动机械时的主要失败模式是什么？是否可通过针对性的数据增强加以缓解？
• RQ4 当在训练中未见过的分布外样本上进行测试时，模型性能会下降到何种程度？
• RQ5 在小规模、特定场地的子集上微调的预训练模型，能否在受控环境中实现面向四级自主驾驶的高精度？

主要发现

• YOLO v3 在完整 KIT MOMA 数据集上实现了 85% 的平均精度均值（mAP），表明其在多样化施工机械类别中具备出色的泛化能力。
• 当仅使用分布内测试图像（排除意外出现的移动机械）时，mAP 提升至 90.7%，表明其在受控场地中已具备实现四级自主驾驶的充分准备。
• 轮式装载机组的性能下降最为显著（微调后 AP 约为 0.6），主要原因是与前向铲斗的挖掘机或大轮子的卡车存在视觉相似性导致的误报。
• 误报源于轮子大小和铲斗朝向等视觉特征的相似性，而这些特征在原始训练数据中并不存在。
• 通过包含误分类样本重新训练后，轮式装载机组的 AP 显著提升，表明小规模、有针对性的数据补充可有效解决关键检测失败问题。
• 该数据集支持在极少微调下实现高精度检测，表明在特定场地数据上微调的预训练模型可达到生产级性能。