[논문 리뷰] Oversampling Adversarial Network for Class-Imbalanced Fault Diagnosis

Masoumeh Zareapoor, Pourya Shamsolmoali외 1명|arXiv (Cornell University)|2020. 08. 07.

Industrial Vision Systems and Defect Detection참고 문헌 43인용 수 7

한 줄 요약

이 논문은 정상 및 고장 난 데이터 분포의 혼합에서 유사 고장 샘플을 생성함으로써 불균형 산업 데이터셋에서 동시에 고장 진단과 분류를 수행하는 MoGAN이라는 생성적 적대적 네트워크를 제안한다. 판별자는 분류기이자 고장 탐지기로 기능하며, 특히 다중 클래스 및 극도로 불균형적인 상황에서 기존 기준 방법보다 뛰어난 성능을 보이며, 일부 데이터셋에서 균형 잡힌 정확도가 최대 92%에 이를 수 있다.

ABSTRACT

The collected data from industrial machines are often imbalanced, which poses a negative effect on learning algorithms. However, this problem becomes more challenging for a mixed type of data or while there is overlapping between classes. Class-imbalance problem requires a robust learning system which can timely predict and classify the data. We propose a new adversarial network for simultaneous classification and fault detection. In particular, we restore the balance in the imbalanced dataset by generating faulty samples from the proposed mixture of data distribution. We designed the discriminator of our model to handle the generated faulty samples to prevent outlier and overfitting. We empirically demonstrate that; (i) the discriminator trained with a generator to generates samples from a mixture of normal and faulty data distribution which can be considered as a fault detector; (ii), the quality of the generated faulty samples outperforms the other synthetic resampling techniques. Experimental results show that the proposed model performs well when comparing to other fault diagnosis methods across several evaluation metrics; in particular, coalescing of generative adversarial network (GAN) and feature matching function is effective at recognizing faulty samples.

연구 동기 및 목표

• 정상 샘플이 고장 난 샘플보다 훨씬 많아지는 산업 고장 진단에서의 클래스 불균형 문제를 해결한다.
• 동시 분류 및 고장 탐지 기능을 가능하게 하는 통합된 딥러닝 프레임워크를 개발한다.
• 저밀도 데이터 영역에서의 일반화 및 강인성을 향상시키기 위해 고급 품질의 유사 소수성(고장 난) 샘플 생성을 통해 고장 진단 모델의 일반화 능력을 향상시킨다.
• 생성 과정에서 혼합 데이터 분포를 통합하여 불균형 데이터에서 흔히 발생하는 과적합 및 분포 이탈 문제를 완화한다.
• 제안된 GAN의 판별자가 추가 훈련 없이도 효과적인 고장 탐지기로 기능할 수 있음을 입증한다.

제안 방법

• 고장 진단을 위한 생성자와 판별자를 동시에 훈련하는 새로운 생성적 적대적 네트워크(MoGAN) 아키텍처를 제안한다.
• 정상 및 고장 난 데이터 분포의 혼합을 모델링하여 생성자를 훈련시켜 유사 고장 샘플을 생성함으로써 데이터 다양성을 향상시킨다.
• 저밀도 데이터 영역에서의 샘플 품질 향상과 일반화 능력 향상을 위해 생성자 훈련 시 특징 매칭 손실 함수를 사용한다.
• 판별자를 다중 클래스(정상 대 다수 고장 유형)로 분류하고 동시에 이상치를 탐지할 수 있도록 설계한다.
• 실제 샘플과 생성된(가짜) 샘플을 구분하도록 판별자를 훈련시켜, 이상치 및 고장 패턴을 식별하는 데 학습한다.
• 판별자의 출력을 고장 탐지 메커니즘으로 통합하여 종단 간 분류 및 이상 탐지 기능을 실현한다.

Figure 1: The MoGAN architecture. The discriminator of MoGAN is designed for simultaneous classification and fault detection. $e_{r}$ and $e_{f}$ indicates as real and fake (generated) samples respectively. Our discriminator creates several clusters in its embedding space to distinguish not only fak

실험 결과

연구 질문

• RQ1 불균형 산업 고장 진단 데이터셋에서 생성적 적대적 네트워크가 현실적인 유사 고장 샘플을 효과적으로 생성할 수 있는가?
• RQ2 실제 샘플과 생성된 샘플을 모두 분류하도록 판별자를 훈련시키는 것이 표준 GAN 대비 고장 탐지 성능 향상에 기여하는가?
• RQ3 MoGAN의 성능은 A2CNN, WDCNN+AdaBN, RJAAN과 같은 최신 기법들과 비교해 다중 클래스 및 극도로 불균형적인 고장 진단 상황에서 어떻게 나타나는가?
• RQ4 생성자에서 데이터 분포의 혼합을 사용할 경우 유사 샘플의 품질과 다양성이 얼마나 향상되는가?
• RQ5 제안된 모델의 판별자가 추가 정밀조정이나 아키텍처 수정 없이 신뢰할 수 있는 고장 탐지기로 기능할 수 있는가?

주요 결과

• MoGAN은 다양한 평가 지표에서 표준 GAN, SDAE, ADASYN, RJAAN을 모두 앞서며, 일부 데이터셋에서 최대 92%의 균형 잡힌 정확도를 달성한다.
• 중간에서 낮은 수준의 클래스 불균형(예: 1:20 및 1:3 비율) 데이터셋에서 MoGAN은 A2CNN 및 RJAAN보다 뚜렷한 향상을 보이며 뛰어난 성능을 나타낸다.
• 심각한 클래스 불균형(예: 1:1000 비율) 상황에서도 MoGAN은 기준 모델을 능가하지만 성능은 약간 저하됨을 보이며 극한 조건에서도 강인함을 입증한다.
• 생성자에서 특징 매칭 손실을 사용할 경우 더 높은 품질의 유사 샘플이 생성되며, 이는 판별자의 탐지 능력을 향상시킨다.
• MoGAN에서 생성된 샘플을 기반으로 훈련한 SVM은 원본 불균형 데이터를 기반으로 훈련한 경우(48–27%)에 비해 66–51%의 정확도를 기록하며, 생성된 샘플의 정보성과 유용성을 입증한다.
• 혼동 행렬을 통한 검증을 통해 판별자의 고장 탐지 능력이 확인되었으며, 특히 저·중간 수준의 불균형 상황에서 모든 고장 유형에 대해 높은 정밀도와 재현율을 보였다.

Figure 2: The discriminator of our proposed MoGAN against CatAAE [ 24 ] . Other methods like CatAEE in addition to discriminator; they have a classifier in their architecture to classify the faulty samples from the normal one.