[论文解读] Fast CRDNN: Towards on Site Training of Mobile Construction Machines

Yusheng Xiang, Tian Tang+5 more|Repository KITopen (Karlsruhe Institute of Technology)|Jun 4, 2020

Anomaly Detection Techniques and Applications参考文献 50被引用 6

一句话总结

本文提出一种增强迁移学习的CRDNN模型，用于移动施工机械的实时现场训练，通过基于智能手机的物联网接口实现对新机械和新驾驶员的快速适应。与从零开始重新训练相比，该方法将车载ECU上的训练时间减少了70%–90%，测试准确率达到98%，并支持现场实时、人机协同的模型微调。

ABSTRACT

The CRDNN is a combined neural network that can increase the holistic efficiency of torque based mobile working machines by about 9% by means of accurately detecting the truck loading cycles. On the one hand, it is a robust but offline learning algorithm so that it is more accurate and much quicker than the previous methods. However, on the other hand, its accuracy cannot always be guaranteed because of the diversity of the mobile machines industry and the nature of the offline method. To address the problem, we utilize the transfer learning algorithm and the Internet of Things (IoT) technology. Concretely, the CRDNN is first trained by computer and then saved in the on-board ECU. In case that the pre-trained CRDNN is not suitable for the new machine, the operator can label some new data by our App connected to the on-board ECU of that machine through Bluetooth. With the newly labeled data, we can directly further train the pre-trained CRDNN on the ECU without overloading since transfer learning requires less computation effort than training the networks from scratch. In our paper, we prove this idea and show that CRDNN is always competent, with the help of transfer learning and IoT technology by field experiment, even the new machine may have a different distribution. Also, we compared the performance of other SOTA multivariate time series algorithms on predicting the working state of the mobile machines, which denotes that the CRDNNs are still the most suitable solution. As a by-product, we build up a human-machine communication system to label the dataset, which can be operated by engineers without knowledge about Artificial Intelligence (AI).

研究动机与目标

• 解决离线训练的CRDNN在应用于具有不同操作行为或数据分布的新移动施工机械时泛化能力差的问题。
• 实现在车载ECU上计算资源受限的嵌入式系统中，无需从零开始重新训练即可实现现场模型自适应。
• 开发一种实用的人机交互系统，允许操作员通过智能手机应用对数据进行标注，以实现模型微调。
• 证明基于迁移学习的CRDNN在移动机械Y-cycle检测任务中优于当前最先进的多变量时间序列分类方法。
• 通过引入新型滑动窗口标注方法，降低状态识别中的预测延迟。

提出的方法

• 使用来自多种轮式装载机的119个Y-cycle序列组成的大型多样化数据集，对包含2个LSTM的CRDNN进行预训练，构建一个鲁棒的基础模型。
• 通过在新现场采集的不同机械或操作员的数据上微调预训练CRDNN的权重，应用迁移学习，显著缩短训练时间。
• 通过蓝牙连接将智能手机应用与车载ECU集成，构建基于物联网的人机交互界面，实现实时数据标注。
• 设计一种滑动窗口标注系统，通过在数据采集过程中实现更快的反馈，减少状态发生与正确预测之间的时间延迟。
• 利用智能手机应用直接在ECU上启动模型重训练，无需依赖外部深度学习专家。
• 基于其在微F1分数、推理速度及高效微调能力之间的良好平衡，选择2-LSTM CRDNN架构作为基础模型。

实验结果

研究问题

• RQ1 当应用于数据分布与训练集不同的移动施工机械时，迁移学习能否提升预训练CRDNN的泛化能力？
• RQ2 基于迁移学习的CRDNN在检测Y-cycle方面，与当前最先进的多变量时间序列分类模型相比性能如何？
• RQ3 通过智能手机应用实现的现场模型微调，能在多大程度上减少ECU上的训练时间与计算负载？
• RQ4 基于人机协同的标注系统是否能让不具备AI专业知识的工程师有效完成数据标注以实现模型适配？
• RQ5 与以往的CRDNN版本相比，所提出的滑动窗口标注方法是否能降低状态发生与识别之间的延迟？

主要发现

• 基于迁移学习的CRDNN在具有挑战性的数据集上达到98%的测试准确率，表现出人类水平的性能，并在多种机械和操作员之间展现出强大的泛化能力。
• 通过现场微调预训练CRDNN，与从零开始重新训练相比，ECU上的训练时间减少了至少70%至90%。
• 2-LSTM CRDNN架构被确定为最优选择，因其在微F1分数、前向/反向传播速度与微调效率之间具有理想的平衡。
• 所提出的基于智能手机的物联网接口使操作员能够完成数据标注并触发现场模型重训练，而无需具备AI专业知识。
• 新型滑动窗口标注方法通过在数据采集过程中实现更快反馈，降低了预测延迟，提升了实时性能。
• CRDNN在检测Y-cycle方面优于其他SOTA多变量时间序列分类模型，证实其在该任务中的适用性。