[論文レビュー] Fast CRDNN: Towards on Site Training of Mobile Construction Machines

Yusheng Xiang, Tian Tang+5 more|Repository KITopen (Karlsruhe Institute of Technology)|Jun 4, 2020

Anomaly Detection Techniques and Applications参考文献 50被引用数 6

ひとこと要約

本稿では、スマートフォンベースの IoT インターフェースを介して、新しい機械やドライバーに迅速に適応可能なリアルタイム現地学習を可能にする、転移学習を強化した CRDNN モデルを提案する。この手法により、ECU 上での再訓練に比べて学習時間を 70–90% 減少させ、98% のテスト精度を達成し、現地で人間を含めたフィードバックループによるモデル微調整をリアルタイムで実現する。

ABSTRACT

The CRDNN is a combined neural network that can increase the holistic efficiency of torque based mobile working machines by about 9% by means of accurately detecting the truck loading cycles. On the one hand, it is a robust but offline learning algorithm so that it is more accurate and much quicker than the previous methods. However, on the other hand, its accuracy cannot always be guaranteed because of the diversity of the mobile machines industry and the nature of the offline method. To address the problem, we utilize the transfer learning algorithm and the Internet of Things (IoT) technology. Concretely, the CRDNN is first trained by computer and then saved in the on-board ECU. In case that the pre-trained CRDNN is not suitable for the new machine, the operator can label some new data by our App connected to the on-board ECU of that machine through Bluetooth. With the newly labeled data, we can directly further train the pre-trained CRDNN on the ECU without overloading since transfer learning requires less computation effort than training the networks from scratch. In our paper, we prove this idea and show that CRDNN is always competent, with the help of transfer learning and IoT technology by field experiment, even the new machine may have a different distribution. Also, we compared the performance of other SOTA multivariate time series algorithms on predicting the working state of the mobile machines, which denotes that the CRDNNs are still the most suitable solution. As a by-product, we build up a human-machine communication system to label the dataset, which can be operated by engineers without knowledge about Artificial Intelligence (AI).

研究の動機と目的

• トレーニングセットとは異なるデータ分布や運用行動を示す新しいモバイル建設機械に適用した場合に、オフラインで訓練された CRDNN の一般化性能が低いという問題に対処する。
• 組み込み ECU では計算が非現実的であるため、再訓練から始めることなく、現地でのモデル適応を可能にする。
• 作業者がスマートフォンアプリを通じてデータラベル付けを行うことで、エンジニアが AI 専門知識を持たなくてもモデル微調整が行える実用的な人間-機械通信システムを開発する。
• モバイル機械における Y サイクル検出において、転移学習を用いた CRDNN が、最先端の多次元時系列分類手法を上回ることを実証する。
• 新しいスライディングウィンドウラベリング手法を導入することで、状態認識における予測遅延を低減する。

提案手法

• 119 個の異なるホイールローダーから得られた多様な Y サイクルシーケンスを用いた大規模かつ多様なデータセットで、2 つの LSTMs を搭載した CRDNN を事前学習し、頑健なベースモデルを構築する。
• 新しい機械やドライバーから収集した現地データに対して、事前学習済み CRDNN の重みを微調整することで転移学習を適用し、学習時間を顕著に短縮する。
• Bluetooth を介してスマートフォンアプリと車載 ECU を接続する IoT ベースのヒューマンマシンインターフェースを統合し、作業者がリアルタイムでデータをラベル付けできるようにする。
• 状態発生から正しく予測されるまでの遅延を低減するために、データ収集中に迅速なフィードバックが得られるよう、スライディングウィンドウラベリングシステムを設計する。
• スマートフォンアプリを通じて、外部のディープラーニング専門家を介さずに、ECU 上で直接モデル再訓練を開始できるようにする。
• 微調整の効率性、推論速度、およびマクロ-F1 スコアのバランスを考慮し、2-LSTM CRDNN アーキテクチャをベースモデルとして選定する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングセットとは異なるデータ分布を持つモバイル建設機械に適用した場合、転移学習が事前学習済み CRDNN の一般化性能を向上させるか？
• RQ2 転移学習を用いた CRDNN の性能は、Y サイクル検出において最先端の多次元時系列分類モデルと比較してどうなるか？
• RQ3 スマートフォンアプリを介した現地でのモデル微調整によって、車載 ECU における学習時間と計算負荷はどの程度削減できるか？
• RQ4 人間を含めたラベリングシステムにより、AI 専門知識を持たないエンジニアでも、効果的にデータラベル付けを行い、モデル適応を可能にするか？
• RQ5 提案されたスライディングウィンドウラベリング手法は、従来の CRDNN バージョンと比較して、状態発生から認識までの遅延を低減するか？

主な発見

• 転移学習を用いた CRDNN は、挑戦的なデータセットにおいて 98% のテスト精度を達成し、人間レベルの性能を示し、多様な機械やドライバーにわたる強力な一般化性能を示した。
• 事前学習済み CRDNN の現地での微調整により、ECU 上での学習時間が再訓練から始めることと比較して最低 70% ～ 90% 削減された。
• 2-LSTM CRDNN アーキテクチャは、マクロ-F1 スコア、前向き/後退伝播速度、および微調整効率のバランスが優れていたため、最適と特定された。
• スマートフォンベースの IoT インターフェースにより、作業者が AI 専門知識を持たずにデータラベル付けを行い、現地でのモデル再訓練をトリガーできるようになった。
• 新しいスライディングウィンドウラベリング手法により、データ収集中の迅速なフィードバックが可能になり、予測遅延が低減され、リアルタイム性能が向上した。
• CRDNN は、Y サイクル検出において他の最先端の多次元時系列分類モデルを上回り、このタスクに適していることが確認された。