[논문 리뷰] SCLIFD:Supervised Contrastive Knowledge Distillation for Incremental Fault Diagnosis under Limited Fault Data

Peng Peng, Hanrong Zhang외 4명|arXiv (Cornell University)|2023. 02. 12.

Imbalanced Data Classification Techniques인용 수 4

한 줄 요약

이 논문은 감독형 대비 지식 정복(SCL-KD), 적응형 예시 선택(AdaHerding), 코사인 분류기 등을 활용하여 제한된 고장 데이터 하에서 증분 고장 진단을 위한 새로운 프레임워크인 SCLIFD를 제안한다. 기존 방법들에 비해 뛰어난 성능을 보이며, 불균형 고장 데이터셋에서 88.17%의 정확도와 장수익 고장 데이터셋에서 79.81%의 정확도를 기록하여 산업 현장에서의 클래스 불균형과 치명적 기억 상실 문제에 대해 뛰어난 강건성을 입증한다.

ABSTRACT

Intelligent fault diagnosis has made extraordinary advancements currently. Nonetheless, few works tackle class-incremental learning for fault diagnosis under limited fault data, i.e., imbalanced and long-tailed fault diagnosis, which brings about various notable challenges. Initially, it is difficult to extract discriminative features from limited fault data. Moreover, a well-trained model must be retrained from scratch to classify the samples from new classes, thus causing a high computational burden and time consumption. Furthermore, the model may suffer from catastrophic forgetting when trained incrementally. Finally, the model decision is biased toward the new classes due to the class imbalance. The problems can consequently lead to performance degradation of fault diagnosis models. Accordingly, we introduce a supervised contrastive knowledge distillation for incremental fault diagnosis under limited fault data (SCLIFD) framework to address these issues, which extends the classical incremental classifier and representation learning (iCaRL) framework from three perspectives. Primarily, we adopt supervised contrastive knowledge distillation (KD) to enhance its representation learning capability under limited fault data. Moreover, we propose a novel prioritized exemplar selection method adaptive herding (AdaHerding) to restrict the increase of the computational burden, which is also combined with KD to alleviate catastrophic forgetting. Additionally, we adopt the cosine classifier to mitigate the adverse impact of class imbalance. We conduct extensive experiments on simulated and real-world industrial processes under different imbalance ratios. Experimental results show that our SCLIFD outperforms the existing methods by a large margin.

연구 동기 및 목표

• 산업 시스템에서 제한적이고 불균형한 고장 데이터 하에서 클래스 증분 고장 진단의 과제를 해결한다.
• 새로운 고장 클래스가 등장할 때 증분 모델 학습 중 치명적 기억 상실을 완화한다.
• 저자원 환경에서 표현 학습을 향상시키고 클래스 불균형 영향을 완화한다.
• 예시 선택 최적화를 통해 증분 학습 중 계산 비용을 감소시킨다.
• 진화하는 고장 클래스를 가진 실세계 산업 고장 진단을 위한 확장성 있고 강건한 프레임워크를 개발한다.

제안 방법

• 제한된 고장 데이터 하에서 표현 학습을 향상시키기 위해 감독형 대비 지식 정복(SCL-KD)을 도입한다.
• 학습 난이도에 기반해 학습하기 어려운 샘플을 우선순위로 선택하는 적응형 예시 선택 방법인 AdaHerding을 제안한다. 이는 메모리 및 계산 오버헤드를 감소시킨다.
• 지식 정복과 AdaHerding을 통합하여 증분 학습 중 치명적 기억 상실을 완화한다.
• 진행 중인 분류에서 다수 클래스에 대한 편향을 줄이고 일반화 성능을 향상시키기 위해 추론 시 코사인 분류기를 적용한다.
• iCaRL 프레임워크를 감독형 대비 지식 정복, AdaHerding, 코사인 분류기 통합을 통해 개선하여 증분 고장 진단 성능을 향상시킨다.
• 시뮬레이션(TEP) 및 실세계(MFF) 데이터셋 모두에서 특징 추출을 위해 24, 12, 10개의 뉴런을 가진 다층 퍼셉트론 인코더를 사용한다.

실험 결과

연구 질문

• RQ1 감독형 대비 지식 정복은 저자원 고장 진단 환경에서 표현 학습을 향상시킬 수 있는가?
• RQ2 AdaHerding는 증분 고장 진단에서 성능을 유지하면서 계산 비용을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 코사인 분류기는 고장 진단에서 클래스 불균형으로 인한 성능 저하를 어느 정도 완화하는가?
• RQ4 불균형 및 장수익 데이터 분포 하에서 증분 세션 간 정확도와 안정성 측면에서 SCLIFD는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 프레임워크는 이전에 학습된 고장 클래스에 대해 높은 성능를 유지하면서 치명적 기억 상실을 방지할 수 있는가?

주요 결과

• MFF 데이터셋의 불균형 고장 진단 설정에서 SCLIFD는 88.17%의 테스트 정확도를 달성하였으며, 두 번째로 우수한 성능을 보인 iCaRL에 비해 33.15% 높다.
• MFF 데이터셋의 장수익 고장 진단 설정에서 SCLIFD는 79.81%의 정확도를 기록하였으며, iCaRL에 비해 35.84% 높다.
• 절단 실험에서 SCL, AdaHerding, 코사인 분류기 각각의 구성 요소가 뚜렷한 기여를 하였으며, 불균형 조건 하에서 세션 5에서 iCaRL 대비 각각 21.86%, 6.42%, 19.69%의 성능 향상을 보였다.
• SCLIFD는 모든 증분 세션에서 일관되게 가장 높은 정확도를 유지하며 상한 성능에 가장 가까이 유지되어 강건성과 확장성의 우수성을 보여준다.
• 프레임워크는 시뮬레이션(TEP) 및 실세계(MFF) 산업 데이터셋 모두에서 뛰어난 강건성을 보이며 실용적 타당성을 확인한다.
• SCL-KD와 AdaHerding의 통합은 치명적 기억 상실을 효과적으로 완화하며, 증분 학습 중 이전에 학습된 고장 클래스의 성능를 유지한다.