[论文解读] An Audio-Based Fault Diagnosis Method for Quadrotors Using Convolutional Neural Network and Transfer Learning

Wansong Liu, Chen Zhu+1 more|arXiv (Cornell University)|Mar 2, 2020

Anomaly Detection Techniques and Applications参考文献 34被引用 7

一句话总结

本文提出一种基于音频的四旋翼无人机故障诊断方法，采用卷积神经网络（CNN）与迁移学习技术检测螺旋桨损伤。通过将实时音频转换为语谱图并训练CNN模型，该方法实现了超过90%的准确率，且借助迁移学习，仅需少量新无人机数据即可实现高性能。

ABSTRACT

Quadrotor unmanned aerial vehicles (UAVs) have been developed and applied into several types of workplaces, such as warehouses, which usually involve human workers. The co-existence of human and UAVs brings new challenges to UAVs: potential failure of UAVs may cause risk and danger to surrounding human. Effective and efficient detection of such failure may provide early warning to the surrounding human workers and reduce such risk to human beings as much as possible. One of the commonest reasons that cause the failure of the UAV's flight is the physical damage to the propellers. This paper presents a method to detect the propellers' damage only based on the audio noise caused by the UAV's flight. The diagnostic model is developed based on convolutional neural network (CNN) and transfer learning techniques. The audio data is collected from the UAVs in real time, transformed into the time-frequency spectrogram, and used to train the CNN-based diagnostic model. The developed model is able to detect the abnormal features of the spectrogram and thus the physical damage of the propellers. To reduce the data dependence on the UAV's dynamic models and enable the utilization of the training data from UAVs with different dynamic models, the CNN-based diagnostic model is further augmented by transfer learning. As such, the refinement of the well-trained diagnostic model ground on other UAVs only requires a small amount of UAV's training data. Experimental tests are conducted to validate the diagnostic model with an accuracy of higher than 90%.

研究动机与目标

• 解决未检测到的无人机螺旋桨故障在有人居住环境中带来的安全风险。
• 开发一种不依赖复杂无人机动力学模型或传感器数据的故障诊断方法。
• 在新平台训练数据有限的情况下，实现在不同四旋翼型号间的泛化能力。
• 利用易于获取且非侵入性的音频信号，实现实时故障检测。
• 通过深度学习与迁移学习技术，提升诊断准确率与效率。

提出的方法

• 使用机载麦克风采集四旋翼飞行过程中的实时音频数据。
• 将音频信号转换为时频语谱图，以表示随时间与频率变化的音频能量。
• 在语谱图图像上训练CNN模型，以分类螺旋桨状态（损坏与完好）。
• 通过使用源四旋翼上预训练模型的权重，初始化CNN模型，应用迁移学习。
• 仅使用少量来自目标四旋翼的标注语谱图，微调CNN的最后几层。
• 使用验证集与测试集评估性能，并调整训练数据规模以优化准确率。

实验结果

研究问题

• RQ1 在不依赖物理模型的前提下，基于音频的语谱图能否有效表征四旋翼螺旋桨损伤？
• RQ2 仅使用音频生成的语谱图，CNN对损坏与完好螺旋桨的分类准确率如何？
• RQ3 迁移学习在多大程度上减少了在不同四旋翼上训练新诊断模型的数据需求？
• RQ4 在物理与动力学特性不同的四旋翼上，于一台四旋翼上训练的模型能否有效泛化到另一台？
• RQ5 在使用迁移学习时，实现高诊断准确率所需的最少目标域数据量是多少？

主要发现

• 基于CNN的诊断模型在源四旋翼上使用语谱图输入，分类准确率达到96.67%。
• 若不使用迁移学习，该模型在新四旋翼上的准确率下降至55.00%，接近随机猜测水平。
• 仅使用10张新四旋翼的训练语谱图，迁移学习便将准确率提升至81.67%。
• 当训练数据增至20张语谱图时，测试准确率进一步提高至91.82%。
• 迁移学习实现了预训练模型在新无人机上的有效适应，仅需极少数据，展现出强大的泛化能力。
• 该方法仅依赖音频数据即可成功检测螺旋桨损伤，无需复杂动力学模型或专用传感器。