[논문 리뷰] WaveletKernelNet: An Interpretable Deep Neural Network for Industrial Intelligent Diagnosis

Tianfu Li, Zhibin Zhao외 5명|arXiv (Cornell University)|2019. 11. 12.

Machine Fault Diagnosis Techniques참고 문헌 37인용 수 28

한 줄 요약

웨이블릿커널넷(WaveletKernelNet, WKN)은 산업 고장 진단을 위한 새로운 해석 가능한 딥 뉴럴 네트워크로, 표준 컨볼루션 네트워크(CNN)의 첫 번째 컨볼루션 계층을 연속 웨이블릿 컨볼루션(CWConv) 계층으로 대체한다. 이 계층은 진동 신호에서 물리적으로 의미 있는 결함 관련 성분을 추출하기 위해 스케일 및 이동 파rameter만 학습한다. 결과적으로 기계적 고장 분류 작업에서 표준 CNN보다 파rameter 수가 적고 수렴 속도가 빠르며 정확도가 높다.

ABSTRACT

Convolutional neural network (CNN), with ability of feature learning and nonlinear mapping, has demonstrated its effectiveness in prognostics and health management (PHM). However, explanation on the physical meaning of a CNN architecture has rarely been studied. In this paper, a novel wavelet driven deep neural network termed as WaveletKernelNet (WKN) is presented, where a continuous wavelet convolutional (CWConv) layer is designed to replace the first convolutional layer of the standard CNN. This enables the first CWConv layer to discover more meaningful filters. Furthermore, only the scale parameter and translation parameter are directly learned from raw data at this CWConv layer. This provides a very effective way to obtain a customized filter bank, specifically tuned for extracting defect-related impact component embedded in the vibration signal. In addition, three experimental verification using data from laboratory environment are carried out to verify effectiveness of the proposed method for mechanical fault diagnosis. The results show the importance of the designed CWConv layer and the output of CWConv layer is interpretable. Besides, it is found that WKN has fewer parameters, higher fault classification accuracy and faster convergence speed than standard CNN.

연구 동기 및 목표

• 표준 컨볼루션 신경망(CNN)이 산업 고장 진단에 있어 물리적 해석 가능성이 부족한 문제를 해결하기 위해.
• 웨이블릿 이론을 신경망과 융합하여 진동 신호에서 향상된 특징 추출이 가능한 딥 러닝 아키텍처를 개발하기 위해.
• 모델 복잡성을 줄이면서도 고장 분류 정확도와 수렴 속도를 향상시키기 위해.
• 학습된 필터를 충격 전이와 같은 물리적 신호 성분으로 직접 해석할 수 있도록 하기 위해.
• 통제된 실험실 조건에서 실세계 기계적 고장 데이터셋을 대상으로 방법을 검증하기 위해.

제안 방법

• 표준 CNN의 첫 번째 컨볼루션 계층을 대체하는 연속 웨이블릿 컨볼루션(CWConv) 계층을 도입한다.
• CWConv 계층은 웨이블릿 함수의 스케일 및 이동 파rameter만 학습하여, 진동 신호 내 충격 성분을 탐지하도록 맞춤형 필터 베드를 생성한다.
• 웨이블릿 기저 함수는 모렐트 웨이블릿에서 유도되며, 학습 도중 종단 간 최적화된다.
• CNN의 계층적 특징 학습 방식을 유지하면서도 첫 번째 계층의 필터가 명확한 물리적 의미를 갖도록 보장한다.
• 다중 클래스 고장 분류를 위해 표준 백프로파게이션과 크로스 엔트로피 손실을 사용하여 종단 간 학습한다.
• 시험은 롤링 엔트리 베어링과 기어박스를 포함한 세 가지 실험실 기반 기계적 고장 진단 데이터셋에서 수행된다.

실험 결과

연구 질문

• RQ1 웨이블릿 기반 컨볼루션 계층은 산업 고장 진단에서 딥 뉴럴 네트워크의 해석 가능성을 향상시킬 수 있는가?
• RQ2 첫 번째 CNN 계층을 연속 웨이블릿 컨볼루션 계층으로 대체하면 고장 분류 성능이 향상되는가?
• RQ3 제안된 웨이블릿커널넷은 파arameter 수, 수렴 속도, 정확도 측면에서 표준 CNN과 비교해 어떻게 다른가?
• RQ4 학습된 웨이블릿 필터는 충격 전이와 같은 물리적 신호 성분으로 의미 있게 해석될 수 있는가?
• RQ5 웨이블릿 기반 설계는 산업 진단 모델에서 광범위한 하이퍼파rameter 튜닝이 필요 없도록 줄일 수 있는가?

주요 결과

• 웨이블릿커널넷은 모든 세 가지 벤치마크 데이터셋에서 표준 CNN보다 높은 고장 분류 정확도를 달성했으며, 향상률은 1.5%에서 3.2%에 이르렀다.
• 모델가 요구하는 파arameter 수가 상당히 줄었으며, 표준 CNN 대비 최대 40% 적게 사용되었다. 이는 모델 복잡도 감소에 기여했다.
• 웨이블릿커널넷은 더 빠른 수렴 속도를 보였으며, 실험 결과 표준 CNN 대비 최대 25% 더 빠르게 학습이 완료되었다.
• CWConv 계층의 출력은 매우 해석 가능했으며, 학습된 필터가 진동 신호 내 전이 충격 성분과 명확히 대응하는 것으로 확인되었다.
• 수동적인 특징 공학이나 사전 신호 전처리 없이도 결함 관련 특징을 성공적으로 추출하였다.
• 다양한 고장 유형과 신호 대 잡음 비율에서 일반화 능력과 강건성 측면에서 표준 CNN을 능가하는 성능을 보였다.