[논문 리뷰] Fast CRDNN: Towards on Site Training of Mobile Construction Machines

Yusheng Xiang, Tian Tang외 5명|Repository KITopen (Karlsruhe Institute of Technology)|2020. 06. 04.

Anomaly Detection Techniques and Applications참고 문헌 50인용 수 6

한 줄 요약

이 논문은 스마트폰 기반 IoT 인터페이스를 통해 신속한 적응을 가능하게 하는 전이학습 강화 CRDNN 모델을 제안한다. 이는 실시간 현장에서 이동식 건설 기계의 모델을 훈련시키며, 새로운 기계나 운전사에 대한 적응을 빠르게 수행할 수 있도록 한다. 기존의 재훈련 대비 ECU 내 훈련 시간을 70–90% 감소시키며, 테스트 정확도 98%를 달성하고 현장에서 인간이 개입하는 실시간 모델 보정을 가능하게 한다.

ABSTRACT

The CRDNN is a combined neural network that can increase the holistic efficiency of torque based mobile working machines by about 9% by means of accurately detecting the truck loading cycles. On the one hand, it is a robust but offline learning algorithm so that it is more accurate and much quicker than the previous methods. However, on the other hand, its accuracy cannot always be guaranteed because of the diversity of the mobile machines industry and the nature of the offline method. To address the problem, we utilize the transfer learning algorithm and the Internet of Things (IoT) technology. Concretely, the CRDNN is first trained by computer and then saved in the on-board ECU. In case that the pre-trained CRDNN is not suitable for the new machine, the operator can label some new data by our App connected to the on-board ECU of that machine through Bluetooth. With the newly labeled data, we can directly further train the pre-trained CRDNN on the ECU without overloading since transfer learning requires less computation effort than training the networks from scratch. In our paper, we prove this idea and show that CRDNN is always competent, with the help of transfer learning and IoT technology by field experiment, even the new machine may have a different distribution. Also, we compared the performance of other SOTA multivariate time series algorithms on predicting the working state of the mobile machines, which denotes that the CRDNNs are still the most suitable solution. As a by-product, we build up a human-machine communication system to label the dataset, which can be operated by engineers without knowledge about Artificial Intelligence (AI).

연구 동기 및 목표

• 훈련 데이터 분포나 운영 방식이 다른 신규 이동식 건설 기계에 적용했을 때 오프라인으로 훈련된 CRDNN의 일반화 능력 부족 문제를 해결한다.
• 임베디드 ECU에서 계산 비용이 매우 높아 재훈련이 불가능한 상황에서, 기존의 재훈련 없이 현장에서 모델을 적응시킬 수 있도록 한다.
• 운전사가 스마트폰 앱을 통해 데이터를 레이블링할 수 있는 실용적인 인간-기계 상호작용 시스템을 개발한다.
• 이동 기계에서 Y사이클 감지를 위한 다변량 시계열 분류 방법 중 최신 기술보다 전이학습 기반 CRDNN이 더 뛰어난 성능을 보임을 입증한다.
• 새로운 슬라이딩 윈도우 레이블링 방법을 도입하여 상태 인식의 예측 지연을 줄인다.

제안 방법

• 다양한 휠로더에서 확보한 119개의 Y사이클 시퀀스로 구성된 대규모 다변화된 데이터셋을 기반으로 2개의 LSTM을 포함한 CRDNN을 사전 훈련하여 강건한 기본 모델을 구축한다.
• 새로운 현장 데이터를 기반으로 사전 훈련된 CRDNN 가중치를 전이학습을 통해 미세조정함으로써 훈련 시간을 크게 단축시킨다.
• 블루투스를 활용한 IoT 기반 인간-기계 인터페이스를 통합하여 스마트폰 앱을 통해 현장에 탑재된 ECU와 연결하여 운전사가 실시간으로 데이터를 레이블링할 수 있도록 한다.
• 상태 발생과 정확한 예측 간 지연을 줄이기 위해 데이터 수집 중 더 빠른 피드백을 가능하게 하는 슬라이딩 윈도우 레이블링 시스템을 설계한다.
• 스마트폰 앱을 통해 ECU 내에서 직접 모델 재훈련을 시작함으로써 외부 딥러닝 전문가의 필요성을 배제한다.
• 마이크로-F1 스코어, 추론 속도, 효율적인 미세조정 능력의 균형을 고려해 2-LSTM CRDNN 아키텍처를 기본 모델로 선정한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CRDNN이 훈련 세트와 다른 데이터 분포를 가진 이동식 건설 기계에 적용되었을 때 전이학습이 일반화 능력을 향상시키는가?
• RQ2 전이학습 기반 CRDNN의 성능은 Y사이클 감지에 있어 최신 기술 수준의 다변량 시계열 분류 모델과 비교해 어떻게 되는가?
• RQ3 스마트폰 앱을 통한 현장 모델 미세조정이 ECU 내 훈련 시간과 계산 부담을 어느 정도 감소시키는가?
• RQ4 인간이 개입하는 레이블링 시스템을 통해 AI 전문 지식이 없는 엔지니어들도 효과적으로 데이터를 레이블링하여 모델 적응을 수행할 수 있는가?
• RQ5 제안된 슬라이딩 윈도우 레이블링 방법은 이전 CRDNN 버전 대비 상태 발생과 인식 간 지연을 줄이는가?

주요 결과

• 전이학습 기반 CRDNN은 도전적인 데이터셋에서 98%의 테스트 정확도를 달성하여 인간 수준의 성능과 다양한 기계 및 운전사 간 강력한 일반화 능력을 입증한다.
• 사전 훈련된 CRDNN의 현장에서의 미세조정은 기존의 재훈련 대비 ECU 내 훈련 시간을 최소 70%에서 90%까지 감소시킨다.
• 2-LSTM CRDNN 아키텍처는 마이크로-F1 스코어, 정방향/역방향 전파 속도, 미세조정 효율성 간의 유리한 트레이드오���을 보여 최적의 선택으로 확인되었다.
• 제안된 스마트폰 기반 IoT 인터페이스를 통해 운전사가 AI 전문 지식 없이도 데이터 레이블링과 현장에서의 모델 재훈련을 유도할 수 있다.
• 새로운 슬라이딩 윈도우 레이블링 방법은 데이터 수집 중 더 빠른 피드백을 가능하게 하여 예측 지연을 줄여 실시간 성능을 향상시킨다.
• CRDNN은 다른 최신 기술 수준의 다변량 시계열 분류 모델보다 Y사이클 감지에서 뛰어난 성능을 보이며, 이 작업에 적합함을 확인한다.