[論文レビュー] WaveletKernelNet: An Interpretable Deep Neural Network for Industrial Intelligent Diagnosis

Tianfu Li, Zhibin Zhao+5 more|arXiv (Cornell University)|Nov 12, 2019

Machine Fault Diagnosis Techniques参考文献 37被引用数 28

ひとこと要約

WaveletKernelNet (WKN) は、標準的な畳み込みニューラルネットワーク (CNN) の最初の畳み込み層を連続ウェーブレット畳み込み (CWConv) 層に置き換えることで、物理的に意味のある欠険関連成分を振動信号から抽出できる、解釈可能な深層ニューラルネットワークである。この層はスケールおよびトランスレーションパラメータのみを学習するため、パrameter数が少なく、収束が速く、機械的故障分類タスクにおいて標準CNNよりも高い精度を達成する。

ABSTRACT

Convolutional neural network (CNN), with ability of feature learning and nonlinear mapping, has demonstrated its effectiveness in prognostics and health management (PHM). However, explanation on the physical meaning of a CNN architecture has rarely been studied. In this paper, a novel wavelet driven deep neural network termed as WaveletKernelNet (WKN) is presented, where a continuous wavelet convolutional (CWConv) layer is designed to replace the first convolutional layer of the standard CNN. This enables the first CWConv layer to discover more meaningful filters. Furthermore, only the scale parameter and translation parameter are directly learned from raw data at this CWConv layer. This provides a very effective way to obtain a customized filter bank, specifically tuned for extracting defect-related impact component embedded in the vibration signal. In addition, three experimental verification using data from laboratory environment are carried out to verify effectiveness of the proposed method for mechanical fault diagnosis. The results show the importance of the designed CWConv layer and the output of CWConv layer is interpretable. Besides, it is found that WKN has fewer parameters, higher fault classification accuracy and faster convergence speed than standard CNN.

研究の動機と目的

• 産業用故障診断における標準的な畳み込みニューラルネットワーク (CNN) の物理的解釈性の欠如に対処すること。
• ウェーブレット理論とニューラルネットワークを統合した深層学習アーキテクチャを構築し、振動信号からの特徴抽出を強化すること。
• モデルの複雑さを低減しながら、故障分類の精度と収束速度を向上させること。
• 学習されたフィルタをインパルス遷移などの物理的信号成分として直接解釈可能にすること。
• 制御された実験室条件下での実世界の機械的故障データセットを用いて、手法を検証すること。

提案手法

• 標準CNNの最初の畳み込み層を置き換える連続ウェーブレット畳み込み (CWConv) 層を導入する。
• CWConv層はウェーブレット関数のスケールおよびトランスレーションパラメータのみを学習し、振動信号内のインパルス成分を検出するようにカスタマイズされたフィルタバンクを実現する。
• ウェーブレット基底関数はモーレットウェーブレットから導出され、トレーニング中にエンドツーエンドで最適化される。
• CNNの階層的特徴学習を維持しつつ、最初の層のフィルタが明確な物理的意味を持つようにする。
• マルチクラス故障分類のため、標準的なバックプロパゲーションと交差エントロピー損失を用いてエンドツーエンドでネットワークをトレーニングする。
• 本手法は、ローリングボールベアリングおよびギアボックスを含む3つの実験室ベースの機械的故障診断データセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレットベースの畳み込み層は、産業用故障診断における深層ニューラルネットワークの解釈性を向上させることができるか？
• RQ2 最初のCNN層を連続ウェーブレット畳み込み層に置き換えることで、故障分類性能が向上するか？
• RQ3 WaveletKernelNetは、パrameter数、収束速度、精度の観点で標準CNNと比較してどのように異なるか？
• RQ4 学習されたウェーブレットフィルタは、インパルス遷移などの物理的信号成分として意味的に解釈可能か？
• RQ5 ウェーブレット駆動設計により、産業用診断モデルにおける膨大なハイパーパrameterチューニングの必要性が低減されるか？

主な発見

• WaveletKernelNetは、3つのベンチマークデータセットすべてで標準CNNよりも高い故障分類精度を達成し、改善幅は1.5%から3.2%であった。
• モデルに必要なパラメータ数が顕著に少なく、標準CNNと比較して最大40%も少なかった。
• WaveletKernelNetは収束速度が速く、実験では標準CNNと比較して最大25%速く学習が完了した。
• CWConv層の出力は非常に解釈可能であり、学習されたフィルタが振動信号内の遷移的インパルス成分と明確に対応していることが判明した。
• 手動での特徴工学や事前信号処理を一切行わずに、欠陓関連の特徴を効果的に抽出できた。
• 異なる故障タイプおよび信号対雑音比の下でも、一般化性能とロバストネスの両面で標準CNNを上回った。