[논문 리뷰] Machine Learning for UAV Propeller Fault Detection based on a Hybrid Data Generation Model

Jianheng Tong, Wěi Zhāng외 3명|arXiv (Cornell University)|2023. 02. 03.

Advanced Measurement and Detection Methods인용 수 6

한 줄 요약

이 논문은 물리기반 UAV 운동학 모델과 데이터 기반 LSTM 네트워크를 융합한 하이브리드 데이터 생성 모델을 제안하여 다로터 쿼드로터에서의 고장 난 프로펠러 동작을 시뮬레이션한다. 이를 통해 실제 비행 데이터를 활용해 80% 이상의 정확도로 프로펠러 고장 위치와 심각도를 식별할 수 있는 CNN 기반 고장 분류기의 훈련을 가능하게 하며, 시뮬레이션에서 실세계로의 전이를 통해 검증된다.

ABSTRACT

This paper describes the development of an on-board data-driven system that can monitor and localize the fault in a quadrotor unmanned aerial vehicle (UAV) and at the same time, evaluate the degree of damage of the fault under real scenarios. To achieve offline training data generation, a hybrid approach is proposed for the development of a virtual data-generative model using a combination of data-driven models as well as well-established dynamic models that describe the kinematics of the UAV. To effectively represent the drop in performance of a faulty propeller, a variation of the deep neural network, a LSTM network is proposed. With the RPM of the propeller as input and based on the fault condition of the propeller, the proposed propeller model estimates the resultant torque and thrust. Then, flight datasets of the UAV under various fault scenarios are generated via simulation using the developed data-generative model. Lastly, a fault classifier using a CNN model is proposed to identify as well as evaluate the degree of damage to the damaged propeller. The scope of this paper focuses on the identification of faulty propellers and classification of the fault level for quadrotor UAVs using RPM as well as flight data. Doing so allows for early minor fault detection to prevent serious faults from occurring if the fault is left unrepaired. To further validate the workability of this approach outside of simulation, a real-flight test is conducted indoors. The real flight data is collected and a simulation to real sim-real test is conducted. Due to the imperfections in the build of our experimental UAV, a slight calibration approach to our simulation model is further proposed and the experimental results obtained show that our trained model can identify the location of propeller fault as well as the degree/type of damage. Currently, the diagnosis accuracy on the testing set is over 80%.

연구 동기 및 목표

• 쿼드로터 UAV에서 실시간으로 프로펠러 고장을 모니터링하고 위치를 파악할 수 있는 차량 내부 데이터 기반 시스템을 개발하기 위해.
• UAV에서 실제 고장 데이터의 부족 문제를 해결하기 위해 하이브리드 시뮬레이션 모델을 활용해 합성 고장 시나리오를 생성하기 위해.
• 침습적인 고장을 방지하기 위해 경미한 프로펠러 고장을 조기에 탐지하기 위해.
• 시뮬레이션에서 실세계로의 전이 프레임워크를 통해 실제 비행 데이터를 활용해 고장 탐지 시스템을 검증하기 위해.
• 비행 및 RPM 데이터를 활용해 고장 심각도 수준(예: 경미함, 중간, 심각함)을 분류하기 위해.

제안 방법

• 하이브리드 데이터 생성 모델은 물리기반 UAV 운동학 모델과 데이터 기반 LSTM 네트워크를 융합하여 프로펠러 고장 역학을 시뮬레이션한다.
• LSTM 모델은 입력 RPM과 고장 조건에 기반해 추력과 토크 출력을 예측하여 성능 저하를 시뮬레이션한다.
• 하이브리드 모델을 사용한 시뮬레이션을 통해 다양한 고장 시나리오 하의 비행 데이터 세트를 생성한다.
• 시뮬레이션된 데이터를 기반으로 CNN 기반 고장 분류기를 훈련시켜 고장 유형과 심각도 수준을 탐지하고 분류한다.
• 실내 비행 데이터를 활용한 실제 비행 데이터를 사용한 시뮬레이션에서 실세계로의 전이 테스트를 수행하며, 하드웨어 결함을 보완하기 위해 모델 校정을 적용한다.
• 시스템은 고장 탐지 및 심각도 평가를 위해 RPM과 비행 상태 데이터를 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 하이브리드 데이터 생성 모델은 쿼드로터 UAV에서 실제와 유사한 프로펠러 고장 시나리오를 효과적으로 시뮬레이션할 수 있는가?
• RQ2 LSTM 기반 모델은 다양한 고장 조건 하에서 추력과 토크 저하를 정확하게 예측할 수 있는가?
• RQ3 시뮬레이션된 데이터로 훈련된 CNN 분류기는 실제 비행 데이터에 대해 고장 탐지에 일반화될 수 있는가?
• RQ4 시스템은 실제 비행 시나리오에서 고장 심각도 수준(예: 경미함, 중간, 심각함)을 어느 정도 정확하게 분류할 수 있는가?
• RQ5 하드웨어 결함이 존재하는 상황에서도 시뮬레이션에서 실세계로의 전이 접근법은 탐지 정확도를 유지하는 데 얼마나 효과적인가?

주요 결과

• 하이브리드 데이터 생성 모델은 물리적 UAV 모델과 학습된 LSTM 행동을 융합함으로써 실제와 유사한 프로펠러 고장 역학을 성공적으로 시뮬레이션한다.
• LSTM 모델은 고장 조건 하에서 RPM과 도출된 추력/토크 간의 관계를 효과적으로 포착한다.
• CNN 기반 고장 분류기는 시뮬레이션된 데이터를 기반으로 테스트 세트에서 80% 이상의 진단 정확도를 달성한다.
• 실비행 검증 결과, 훈련된 모델이 프로펠러 고장의 위치와 유형을 모두 정확히 식별할 수 있음을 입증한다.
• 시뮬레이션 모델에 대한 校정 단계가 시뮬레이션에서 실세계 비행 데이터로의 전이 시 성능을 크게 향상시킨다.
• 시스템은 경미한 고장을 조기에 탐지함으로써 예방 정비 및 UAV 안전성 향상에 기여한다.