[論文レビュー] Neural Architecture Search For Fault Diagnosis

Xudong Li, Yang Hu+2 more|arXiv (Cornell University)|Feb 19, 2020

Machine Fault Diagnosis Techniques参考文献 22被引用数 8

ひとこと要約

本論文は、強化学習を用いたニューラルアーキテクチャ探索（NAS）を故障診断に初めて適用した。再帰的ニューラルネットワーク（RNN）コントローラーが、ResNetに基づく探索空間内で深層学習アーキテクチャを生成する。本手法はPHM 2009ギアボックスデータセットにおいて最先端の性能を達成し、探索されたモデルが78.91%の精度を達成した。これは手動で設計されたモデルを最大2.69ポイント上回り、パラメータ共有を活用して探索を高速化した。

ABSTRACT

Data-driven methods have made great progress in fault diagnosis, especially deep learning method. Deep learning is suitable for processing big data, and has a strong feature extraction ability to realize end-to-end fault diagnosis systems. However, designing neural network architecture requires rich professional knowledge and debugging experience, and a lot of experiments are needed to screen models and hyperparameters, increasing the difficulty of developing deep learning models. Frortunately, neural architecture search (NAS) is developing rapidly, and is becoming one of the next directions for deep learning. In this paper, we proposed a NAS method for fault diagnosis using reinforcement learning. A recurrent neural network is used as an agent to generate network architecture. The accuracy of the generated network on the validation dataset is fed back to the agent as a reward, and the parameters of the agent are updated through the strategy gradient algorithm. We use PHM 2009 Data Challenge gearbox dataset to prove the effectiveness of proposed method, and obtain state-of-the-art results compared with other artificial designed network structures. To author's best knowledge, it's the first time that NAS has been applied in fault diagnosis.

研究の動機と目的

• 故障診断のための深層学習モデルの自動設計を実現し、熟練知識や膨大なハイパーパramータチューニングへの依存を低減すること。
• 自動モデル発見がまだあまり研究されていない分野である故障診断に、ニューラルアーキテクチャ探索（NAS）を適用すること。
• 高精度でエンドツーエンドの故障診断アーキテクチャを発見できる、強化学習に基づくNASフレームワークを開発すること。
• 手動で設計された深層学習モデルと比較して、NASが診断精度を向上させる有効性を評価すること。

提案手法

• 再帰的ニューラルネットワーク（RNN）が、事前に定義された探索空間から演算（例：カーネルサイズ、拡張率）をサンプリングすることで、ニューラルネットワークアーキテクチャを生成する。
• コントローラーは方策勾配最適化により訓練され、生成されたアーキテクチャの検証精度が報酬信号として用いられる。
• 子ネットワーク間でパラメータ共有を採用することで、探索中に複数のアーキテクチャを訓練・評価する際の計算コストを大幅に削減する。
• 探索空間は残差ブロック構造に基づき定義され、カーネルサイズ（k=3,5）および拡張率（d=1,2,3）の異なる畳み込み層を含む。
• 学習プロセスは、コントローラーからアーキテクチャをサンプリングし、訓練データセットで学習させ、検証精度に基づいてコントローラーを更新するというステップを繰り返す。
• フレームワークは、Tesla K80 GPU上でPyTorchを用いて実装され、全探索プロセスに1.6時間かかった。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づくニューラルアーキテクチャ探索は、故障診断のための高精度な深層学習アーキテクチャを効果的に発見できるか？
• RQ2 NASによって生成されたモデルの性能は、故障診断タスクにおける手動設計モデルと比べてどの程度か？
• RQ3 パラメータ共有は、アーキテクチャの品質を損なわせることなく、探索時間をどの程度短縮できるか？
• RQ4 特にモデルの複雑さ、効率性、デプロイメント制約を考慮した場合、NASを産業的故障診断に適用する際の主な課題は何か？
• RQ5 NASは、ResNetのような固定アーキテクチャにとどまらず、より効率的かつ高精度な新規構造を故障診断用に発見できるか？

主な発見

• NASによって生成されたモデルは、テスト精度78.91%を達成し、6つの手動設計されたResNetバージョン（最高76.22%）をすべて上回った。
• サンプリングされたアーキテクチャの検証精度は、探索エポックを経るごとに着実に向上し、コントローラーによる方策学習が有効に機能していることが示された。
• パラメータ共有の導入により、探索時間が著しく短縮され、単一GPU上での全探索プロセスが1.6時間で完了した。
• 結果から、NASはアーキテクチャ設計プロセスの自動化を可能にし、熟練者による設計モデルと比較して優れた一般化性能を示すモデルを生成できることを示した。
• 本研究では、モデル効率（パラメータ数およびFLOPs）、固定アーキテクチャを超えたスケーラビリティ、およびMLパイプライン全体における自動化の必要性といった、NASにおける重要な課題を同定した。