[논문 리뷰] An Audio-Based Fault Diagnosis Method for Quadrotors Using Convolutional Neural Network and Transfer Learning

Wansong Liu, Chen Zhu외 1명|arXiv (Cornell University)|2020. 03. 02.

Anomaly Detection Techniques and Applications참고 문헌 34인용 수 7

한 줄 요약

이 논문은 복소수 신경망(CNN)과 전이 학습을 사용하여 실시간 음향 신호를 활용해 다로터 UAV의 프로펠러 손상 여부를 진단하는 음향 기반 장애 진단 방법을 제안한다. 실시간 음향을 스펙트로그램으로 변환하고 CNN 모델을 훈련시킴으로써 90% 이상의 정확도를 달성하였으며, 전이 학습 덕분에 새로운 UAV에서 최소한의 데이터로도 높은 성능을 발휘할 수 있었다.

ABSTRACT

Quadrotor unmanned aerial vehicles (UAVs) have been developed and applied into several types of workplaces, such as warehouses, which usually involve human workers. The co-existence of human and UAVs brings new challenges to UAVs: potential failure of UAVs may cause risk and danger to surrounding human. Effective and efficient detection of such failure may provide early warning to the surrounding human workers and reduce such risk to human beings as much as possible. One of the commonest reasons that cause the failure of the UAV's flight is the physical damage to the propellers. This paper presents a method to detect the propellers' damage only based on the audio noise caused by the UAV's flight. The diagnostic model is developed based on convolutional neural network (CNN) and transfer learning techniques. The audio data is collected from the UAVs in real time, transformed into the time-frequency spectrogram, and used to train the CNN-based diagnostic model. The developed model is able to detect the abnormal features of the spectrogram and thus the physical damage of the propellers. To reduce the data dependence on the UAV's dynamic models and enable the utilization of the training data from UAVs with different dynamic models, the CNN-based diagnostic model is further augmented by transfer learning. As such, the refinement of the well-trained diagnostic model ground on other UAVs only requires a small amount of UAV's training data. Experimental tests are conducted to validate the diagnostic model with an accuracy of higher than 90%.

연구 동기 및 목표

• 사람이 거주하는 환경에서 감지되지 않은 UAV 프로펠러 고장으로 인한 안전 위험을 해결한다.
• 복잡한 UAV 동역학 모델이나 센서 데이터에 의존하지 않는 장애 진단 방법을 개발한다.
• 새로운 플랫폼에 대해 훈련 데이터가 제한된 상황에서도 다양한 다로터 모델 간 일반화를 가능하게 한다.
• 실시간 장애 탐지에 적합하고 비침습적인 실시간 음향 신호를 활용한다.
• 딥 러닝 및 전이 학습 기법을 통해 정확도와 효율성을 향상시킨다.

제안 방법

• 현장 마이크를 사용해 다로터 비행 중 실시간 음향 데이터를 수집한다.
• 음향 신호를 시간-주파수 스펙트로그램으로 변환하여 시간과 주파수에 따른 음향 에너지를 표현한다.
• 스펙트로그램 이미지에 기반해 CNN 모델을 훈련시어 프로펠러 상태(손상됨 vs. 그대로)를 분류한다.
• 원천 UAV에서 사전 훈련된 모델의 가중치를 사용해 CNN을 초기화함으로써 전이 학습을 적용한다.
• 대상 UAV에서의 소량의 레이블이 부여된 스펙트로그램만을 사용해 CNN의 최종 레이어를 미세 조정한다.
• 성능 평가를 위해 검증 및 테스트 세트를 사용하며, 정확도 최적화를 위해 훈련 데이터 크기를 조정한다.

실험 결과

연구 질문

• RQ1 물리적 모델에 의존하지 않고도 음향 기반 스펙트로그램이 다로터의 프로펠러 손상을 효과적으로 표현할 수 있는가?
• RQ2 오직 음향 유도 스펙트로그램만을 사용할 때 CNN이 손상된 프로펠러와 그대로인 프로펠러를 얼마나 정확하게 분류할 수 있는가?
• RQ3 다른 다로터에 대해 새로운 진단 모델을 훈련하기 위한 데이터 요구량을 전이 학습이 얼마나 줄일 수 있는가?
• RQ4 다른 물리적 및 동역학적 특성을 지닌 다른 다로터로도 한 모델이 효과적으로 일반화될 수 있는가?
• RQ5 전이 학습을 사용할 때 높은 진단 정확도를 달성하기 위해 필요한 최소한의 타겟 도메인 데이터는 얼마인가?

주요 결과

• CNN 기반 진단 모델은 스펙트로그램 입력을 사용해 원천 다로터에서 96.67%의 분류 정확도를 달성했다.
• 전이 학습 없이 새로운 다로터에서의 정확도는 55.00%로 무작위 추측 수준에 가까웠다.
• 새로운 다로터에서 단 10장의 훈련 스펙트로그램만으로도 전이 학습이 81.67%의 정확도로 향상시켰다.
• 훈련 데이터를 20장으로 늘여 테스트 정확도를 91.82%로 더욱 높였다.
• 전이 학습을 통해 사전 훈련된 모델을 최소한의 데이터로 새로운 UAV에 효과적으로 적응시킬 수 있었으며, 강력한 일반화 능력을 입증했다.
• 이 방법은 복잡한 동역학 모델이나 전용 센서 없이도 오직 음향 데이터만으로도 프로펠러 손상을 성공적으로 탐지할 수 있었다.