[논문 리뷰] Wasserstein Distance based Deep Adversarial Transfer Learning for Intelligent Fault Diagnosis

Cheng Cheng, Beitong Zhou외 3명|arXiv (Cornell University)|2019. 03. 02.

Non-Destructive Testing Techniques참고 문헌 32인용 수 29

한 줄 요약

이 논문은 고장 진단에서 소스 도메인과 타겟 도메인 간의 특징 분포를 워셔스타인 거리 기반의 적대적 훈련을 통해 정렬하는 새로운 도메인 적응 프레임워크인 워셔스타인 거리 기반 딥 트랜스퍼 러닝(WD-DTL)을 제안한다. WD-DTL은 특히 비지도 학습 및 저표본 레이블링 환경에서 CNN 및 DAN 기준 모델보다 뛰어난 정확도와 강건성을 보이며, 레이블이 100개 뿐인 경우에도 80%의 정확도를 달성한다.

ABSTRACT

The demand of artificial intelligent adoption for condition-based maintenance strategy is astonishingly increased over the past few years. Intelligent fault diagnosis is one critical topic of maintenance solution for mechanical systems. Deep learning models, such as convolutional neural networks (CNNs), have been successfully applied to fault diagnosis tasks for mechanical systems and achieved promising results. However, for diverse working conditions in the industry, deep learning suffers two difficulties: one is that the well-defined (source domain) and new (target domain) datasets are with different feature distributions; another one is the fact that insufficient or no labelled data in target domain significantly reduce the accuracy of fault diagnosis. As a novel idea, deep transfer learning (DTL) is created to perform learning in the target domain by leveraging information from the relevant source domain. Inspired by Wasserstein distance of optimal transport, in this paper, we propose a novel DTL approach to intelligent fault diagnosis, namely Wasserstein Distance based Deep Transfer Learning (WD-DTL), to learn domain feature representations (generated by a CNN based feature extractor) and to minimize the distributions between the source and target domains through adversarial training. The effectiveness of the proposed WD-DTL is verified through 3 transfer scenarios and 16 transfer fault diagnosis experiments of both unsupervised and supervised (with insufficient labelled data) learning. We also provide a comprehensive analysis of the network visualization of those transfer tasks.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인 간의 운영 조건 및 특징 분포의 차이로 인해 발생하는 도메인 이동 문제를 해결하기 위해.
• 산업 현장에서 흔히 발생하는 타겟 도메인의 부족한 또는 레이블이 없는 데이터 문제를 극복하기 위해.
• 도메인 불변 표현 학습을 통해 특징의 이동 가능성과 모델의 강건성을 향상시키는 딥 트랜스퍼 러닝 프레임워크를 개발하기 위해.
• 기존의 MMD나 KL과 같은 확률 발산과 비교해 더 안정적이고 효과적인 도메인 적응을 위해 워셔스타인 거리의 기울기 특성을 활용하기 위해.

제안 방법

• 소스 도메인과 타겟 도메인의 원시 진동 신호에서 계층적 표현을 학습하기 위해 CNN 기반의 특징 추출기가 사용된다.
• 소스 도메인과 타겟 도메인의 특징를 구분할 수 있는 도메인 비평가 네트워크가 도입되어 적대적 훈련을 가능하게 한다.
• 소스 도메인과 타겟 도메인 간의 분포 격차를 최소화하기 위해 워셔스타인 거리가 도메인 불일치 측정 지표로 사용된다.
• 특징 추출기와 도메인 비평가를 함께 최적화하기 위해 기울기 하강법을 사용하는 적대적 훈련 과정이 도메인 불변성을 향상시킨다.
• 타겟 도메인에서 레이블이 제한된 경우에도 비지도 및 약한 지도 학습 전이를 지원하기 위해 설계된다.
• 모델은 16개의 전이 작업(예: 모터 속도 및 센서 위치 변화 포함)을 포함한 벤치마크 rolling bearing 고장 진단 데이터셋에서 평가되었다.

실험 결과

연구 질문

• RQ1 레이블이 없는 타겟 데이터를 가진 비지도 전이 학습 환경에서 WD-DTL은 도메인 이동을 효과적으로 줄일 수 있는가?
• RQ2 타겟 도메인에서 레이블이 소수만 존재할 경우, WD-DTL은 CNN 및 DAN과 비교해 어떻게 성능을 내는가?
• RQ3 워셔스타인 거리의 사용이 MMD나 기타 확률 발산보다 더 안정적이고 정확한 도메인 적응을 이끌어내는가?
• RQ4 다양한 모터 속도와 센서 위치를 포함하는 여러 전이 작업에 대해 WD-DTL의 강건성은 어떠한가?
• RQ5 소스 도메인과 상당히 다를 수 있는 타겟 도메인의 데이터 분포에서도 WD-DTL은 높은 진단 정확도를 달성할 수 있는가?

주요 결과

• 레이블이 전혀 없는 타겟 데이터(100% 비레이블)를 가진 비지도 환경에서 WD-DTL은 테스트 정확도 64%를 기록했으며, CNN 및 DAN 기준 모델을 모두 초월했다.
• 레이블이 100개(각 고장 유형당 25개) 뿐인 경우 WD-DTL은 80%의 정확도를 달성했으며, 이는 100% 레이블이 있는 비지도 사례를 뛰어넘는 성능이었다.
• WD-DTL의 성능에 대한 95% 신뢰구간은 CNN 및 DAN보다 좁아, 반복 실험에서 더 높은 모델 강건성을 나타냈다.
• WD-DTL은 비지도 및 저표본 레이블링 환경 모두에서 뛰어난 성능을 보이며, 실제 산업 환경에서의 효과성을 확인했다.
• 유사한 신호 간 전이 작업(예: 다양한 모터 속도)에서 WD-DTL은 95% 이상의 정확도를 달성했으며, 이는 도메인 불변 표현 학습의 강점을 입증했다.
• 워셔스타인 거리의 사용은 MMD 기반 방법에 비해 더 안정적인 훈련과 향상된 기울기 흐름을 가능하게 했으며, 특히 대규모 데이터에서 두드러졌다.