[論文レビュー] An Audio-Based Fault Diagnosis Method for Quadrotors Using Convolutional Neural Network and Transfer Learning

Wansong Liu, Chen Zhu+1 more|arXiv (Cornell University)|Mar 2, 2020

Anomaly Detection Techniques and Applications参考文献 34被引用数 7

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）と転移学習を用いてプロペラ損傷を検出する音声ベースの故障診断手法を提案する。リアルタイム音声をスペクトログラムに変換し、CNNモデルを訓練することで、90%を超える精度を達成した。転移学習により、新しいUAVからの最小限のデータでも高い性能を発揮できる。

ABSTRACT

Quadrotor unmanned aerial vehicles (UAVs) have been developed and applied into several types of workplaces, such as warehouses, which usually involve human workers. The co-existence of human and UAVs brings new challenges to UAVs: potential failure of UAVs may cause risk and danger to surrounding human. Effective and efficient detection of such failure may provide early warning to the surrounding human workers and reduce such risk to human beings as much as possible. One of the commonest reasons that cause the failure of the UAV's flight is the physical damage to the propellers. This paper presents a method to detect the propellers' damage only based on the audio noise caused by the UAV's flight. The diagnostic model is developed based on convolutional neural network (CNN) and transfer learning techniques. The audio data is collected from the UAVs in real time, transformed into the time-frequency spectrogram, and used to train the CNN-based diagnostic model. The developed model is able to detect the abnormal features of the spectrogram and thus the physical damage of the propellers. To reduce the data dependence on the UAV's dynamic models and enable the utilization of the training data from UAVs with different dynamic models, the CNN-based diagnostic model is further augmented by transfer learning. As such, the refinement of the well-trained diagnostic model ground on other UAVs only requires a small amount of UAV's training data. Experimental tests are conducted to validate the diagnostic model with an accuracy of higher than 90%.

研究の動機と目的

• 人間が居住する環境で検出されないUAVプロペラ故障が引き起こす安全リスクに対処する。
• 複雑なUAV動的モデルやセンサデータに依存しない故障診断手法を開発する。
• 新しいプラットフォーム用に限られた訓練データで、さまざまなマルチローター機種に一般化可能な手法を実現する。
• 容易に入手可能で非侵襲的な音声信号を活用し、リアルタイムでの故障検出を可能にする。
• ディープラーニングと転移学習技術を用いて、診断の精度と効率を向上させる。

提案手法

• 機体搭載マイクを用いてマルチローター飛行中のリアルタイム音声データを収集する。
• 音声信号を時間周波数スペクトログラムに変換し、時間と周波数にわたる音声エネルギーを表現する。
• スペクトログラム画像を用いてCNNモデルを訓練し、プロペラ状態（損傷あり vs. 損傷なし）を分類する。
• ソースUAV上で事前に訓練されたモデルの重みを初期値として用いて、CNNに転移学習を適用する。
• ターゲットUAVからのラベル付きスペクトログラムをわずかに用いて、CNNの最終層をファインチューニングする。
• 検証およびテストセットを用いて性能を評価し、訓練データ量を調整して精度を最適化する。

実験結果

リサーチクエスチョン

• RQ1 物理モデルに依存せずに、音声ベースのスペクトログラムがマルチローターのプロペラ損傷を効果的に表現できるか？
• RQ2 音声から得られるスペクトログラムのみを用いて、CNNが損傷あり／損傷なしのプロペラをどれほど正確に分類できるか？
• RQ3 新しいマルチローター用に新しい診断モデルを訓練するにあたり、転移学習がどの程度データ要件を低減できるか？
• RQ4 異なる物理的・動的特性を有する別のマルチローター機種に対しても、ある機種で訓練したモデルが効果的に一般化できるか？
• RQ5 転移学習を用いる場合、高い診断精度を達成するために必要なターゲットドメインの最小データ量はどの程度か？

主な発見

• CNNベースの診断モデルは、スペクトログラム入力を用いて、ソースマルチローターで96.67%の分類精度を達成した。
• 転移学習を用いない場合、新しいマルチローターでのモデルの精度は55.00%に低下し、ランダムチャンスとほぼ同等であった。
• 新しいマルチローターからの訓練スペクトログラムをたった10枚で使用した場合、転移学習により精度が81.67%に向上した。
• 訓練データを20枚に増加させると、テスト精度はさらに91.82%に上昇した。
• 転移学習により、事前に訓練されたモデルを最小限のデータで新しいUAVに効果的に適応可能であり、優れた一般化性能を示した。
• 本手法は、複雑な動的モデルや専用センサを一切不要とし、音声データのみでプロペラ損傷を効果的に検出できた。