[논문 리뷰] Quick Learning Mechanism with Cross-Domain Adaptation for Intelligent Fault Diagnosis

Arun Kumar Sharma, Nishchal K. Verma|arXiv (Cornell University)|2021. 03. 16.

Machine Fault Diagnosis Techniques참고 문헌 42인용 수 19

한 줄 요약

이 논문은 사전 훈련된 고장 진단 모델을 새로운 산업 운영 조건에 신속하게 적응시킬 수 있도록 Net2Net 변환과 도메인 적응을 활용한 빠른 학습 메커니즘을 제안한다. 최소한의 레이블이 부여된 타겟 데이터로 미세조정하고 최대 평균 차이(MMD)를 최소화함으로써, 다양한 조건에서 높은 정확도와 안정성을 달성하며 훈련 시간을 크게 단축시켜 동적인 산업 환경에서 실시간 고장 진단을 가능하게 한다.

ABSTRACT

The fault diagnostic model trained for a laboratory case machine fails to perform well on the industrial machines running under variable operating conditions. For every new operating condition of such machines, a new diagnostic model has to be trained which is a time-consuming and uneconomical process. Therefore, we propose a quick learning mechanism that can transform the existing diagnostic model into a new model suitable for industrial machines operating in different conditions. The proposed method uses the Net2Net transformation followed by a fine-tuning to cancel/minimize the maximum mean discrepancy between the new data and the previous one. The fine-tuning of the model requires a very less amount of labelled target samples and very few iterations of training. Therefore, the proposed method is capable of learning the new target data pattern quickly. The effectiveness of the proposed fault diagnosis method has been demonstrated on the Case Western Reserve University dataset, Intelligent Maintenance Systems bearing dataset, and Paderborn university dataset under the wide variations of the operating conditions. It has been validated that the diagnostic model trained on artificially damaged fault datasets can be used to quickly train another model for a real damage dataset.

연구 동기 및 목표

• 산업용 회전 기계에서 새로운 운영 조건마다 고장을 재학습하는 데 도전하는 문제를 해결하기 위해.
• 원천(실험실) 모델에서 타겟(산업) 도메인으로 지식을 전이함으로써 모델 재학습에 소요되는 시간과 비용을 줄이기 위해.
• 최소한의 타겟 샘플 레이블과 적은 훈련 반복 수로 새로운 데이터 패턴에 신속히 적응할 수 있도록 하기 위해.
• 기존 최고 수준의 방법들과 비교해 하중, 속도, 고장 조건의 변화가 있는 상황에서도 모델의 안정성과 정확도를 향상시키기 위해.

제안 방법

• 기존에 훈련된 원천 네트워크를 타겟 도메인에 적합한 새로운 아키텍처로 재구성하기 위해 Net2Net 변환을 적용하여 기능 매핑을 유지한다.
• 원천 및 타겟 특징 분포 간의 최대 평균 차이(MMD)를 최소화하여 도메인 간 차이를 줄이고 도메인 적응을 수행한다.
• 작은 수의 레이블이 부여된 타겟 샘플을 사용하여 변환된 네트워크를 미세조정함으로써 분류 손실과 MMD를 동시에 최소화한다.
• 분류 손실 + MMD 항목을 포함한 병합 목적 함수를 사용하여 특징을 정렬하고 일반화 능력을 향상시킨다.
• 기능 보존 원칙을 활용해 새로운 네트워크를 초기화하여 무작위 초기화를 방지하고 수렴 속도를 가속화한다.
• 확률적 경사 하강법을 사용한 역전파를 적용하여 미세조정 과정을 효율적으로 최적화한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 고장 진단 모델을 다시 훈련하지 않고도 새로운 산업 운영 조건에 신속히 적응시킬 수 있는가?
• RQ2 Net2Net 기반의 네트워크 변환이 훈련 시간을 줄이고 적응 속도를 향상시키는 데 얼마나 효과적인가?
• RQ3 제한된 레이블이 부여된 타겟 데이터로 MMD 기반 도메인 적응이 모델 성능을 얼마나 향상시키는가?
• RQ4 하중, 속도, 고장 심각도의 광범위한 변화에 걸쳐 제안된 방법의 안정성은 어떠한가?
• RQ5 인위적으로 손상된 데이터로 훈련된 모델이 실제 고장 사례로 효과적으로 전이될 수 있는가?

주요 결과

• CWRU 데이터셋에서 다양한 하중과 속도 조건 하에서 제안된 방법은 96.12%의 정확도를 달성했으며, DNN(88.27%)와 DANN(92.45%)보다 최소한의 타겟 데이터로도 뛰어난 성능을 보였다.
• 파데르보른 대학교 데이터셋에서 고속, 고하중 조건에서도 96.24%의 정확도를 기록했으며, 표준편차가 오직 2.05에 불과하여 높은 안정성을 보였다.
• 레이블이 부여된 타겟 샘플의 10%만으로도 T3에서 92.3%의 정확도, T4에서 90.0%의 정확도를 확보했으며, DANN(58.6% 및 65.3%)과 DNN(58.6% 및 65.3%)보다 뚜렷이 뛰어난 성능을 보였다.
• Target-1에서 도메인 적응을 적용한 결과 훈련 시간이 55.0초로 단축되었으며, DANN의 2476.26초 대비 45배 빠른 속도 향상을 보였다.
• t-SNE 시각화 결과, 제안된 방법에서 특징이 기존 최고 수준의 방법보다 더 명확하게 분리되어 있음을 확인하여 더 나은 특징 구분 능력을 보였다.
• 인위적으로 손상된 데이터에서 학습한 지식이 실제 고장 사례로 효과적으로 전이되는 것으로 나타나, 실제 산업 고장 진단 응용 분야에서의 실용성을 입증했다.