[논문 리뷰] A class-weighted supervised contrastive learning long-tailed bearing fault diagnosis approach using quadratic neural network

Wei-En Yu, Jinwei Sun외 3명|arXiv (Cornell University)|2023. 09. 21.

Machine Fault Diagnosis Techniques인용 수 5

한 줄 요약

이 논문은 장기적 불균형 분포를 가진 베어링 고장 진단 문제를 해결하기 위해 이차 신경망을 사용하는 클래스 가중치가 부여된 지도형 대비 학습 프레임워크인 CCQNet을 제안한다. 클래스 인식 대비 손실과 로짓 조정형 교차 엔트로피 손실을 통합함으로써 소수의 고장 클래스에 대한 특징 분리 능력을 향상시켜, 50:1 장기적 불균형 비율에서 자체 개발 데이터셋에서 75.25%의 정확도를 달성하며, 불균형 설정에서 기존 최고 성능(SOTA) 방법을 능가한다.

ABSTRACT

Deep learning has achieved remarkable success in bearing fault diagnosis. However, its performance oftentimes deteriorates when dealing with highly imbalanced or long-tailed data, while such cases are prevalent in industrial settings because fault is a rare event that occurs with an extremely low probability. Conventional data augmentation methods face fundamental limitations due to the scarcity of samples pertaining to the minority class. In this paper, we propose a supervised contrastive learning approach with a class-aware loss function to enhance the feature extraction capability of neural networks for fault diagnosis. The developed class-weighted contrastive learning quadratic network (CCQNet) consists of a quadratic convolutional residual network backbone, a contrastive learning branch utilizing a class-weighted contrastive loss, and a classifier branch employing logit-adjusted cross-entropy loss. By utilizing class-weighted contrastive loss and logit-adjusted cross-entropy loss, our approach encourages equidistant representation of class features, thereby inducing equal attention on all the classes. We further analyze the superior feature extraction ability of quadratic network by establishing the connection between quadratic neurons and autocorrelation in signal processing. Experimental results on public and proprietary datasets are used to validate the effectiveness of CCQNet, and computational results reveal that CCQNet outperforms SOTA methods in handling extremely imbalanced data substantially.

연구 동기 및 목표

• 장기적 불균형 분포에서 정상 운전 대비 고장 샘플이 극도로 적은 경우 발생하는 고장 진단 문제를 해결한다.
• 심한 클래스 불균형 문제를 다루는 데 있어 전통적인 데이터 증강 기법과 표준 딥러닝 모델의 한계를 극복한다.
• 학습 중 모든 클래스에 동일한 주의를 기울임으로써 소수의 고장 클래스에 대한 특징 표현을 향상시킨다.
• 이차 신경망 아키텍처가 자동상관과 유사한 연산을 통해 국소적 고장 특징을 포착하는 데 얼마나 효과적인지 조사한다.
• 실제 산업 현장에서 극도로 불균형한 데이터에 잘 일반화되는 견고한 종단 간 프레임워크를 개발한다.

제안 방법

• 원시 진동 신호에서 계층적 특징을 추출하기 위해 이차 잔여망(QResNet) 백본을 설계하여, 이차 뉴런이 이차 상호작용을 모델링할 수 있는 능력을 활용한다.
• 헤드 클래스와 테일 클래스의 영향을 균형 잡기 위해 클래스 가중치가 부여된 대비 손실을 대비 학습 브랜치에 도입하여 클래스 간 분리와 클래스 내 응집을 장려한다.
• 결정 경계를 개선하고 소수 클래스에 대한 일반화 능력을 향상시키기 위해 로짓 조정형 교차 엔트로피 손실을 사용하는 분류기 브랜치를 구현한다.
• 이차 뉴런과 신호 처리에서의 자동상관 간 이론적 연결을 수립하여, 이차 뉴런이 진동 신호에서 주기적 고장 패tern을 탐지하는 데 적합함을 입증한다.
• 대비 특징 학습을 위한 브랜치와 분류를 위한 브랜치로 구성된 이중 브랜치 아키텍처를 사용해 종단 간 학습을 수행하며, 두 손실 함수를 동시 최적화한다.
• 각 구성 요소의 기여도를 검증하기 위해 아블레이션 연구를 수행하며, 이중 뉴런의 전체 구조, 파wr 항, 내적곱 항을 포함한다.

실험 결과

연구 질문

• RQ1 클래스 가중치가 부여된 대비 학습 손실이 장기적 불균형 분포 하에서 소수의 고장 클래스에 대한 특징 표현을 효과적으로 향상시킬 수 있는가?
• RQ2 표준 CNN과 비교해 이차 신경망 아키텍처가 국소적 고장 특징 탐지에 얼마나 향상되는가?
• RQ3 이차 뉴런 내에서 파워 항과 내적곱 항이 전체 모델 성능에 미치는 상대적 기여도는 어떠한가?
• RQ4 극심한 클래스 불균형 상황(예: 50:1 비율)에서 CCQNet이 기존 최고 성능(SOTA) 방법을 얼마나 능가하는가?
• RQ5 제안된 프레임워크는 공개(CWRU) 및 자체 개발 산업 데이터셋을 포함한 다양한 데이터셋에 대해 일반화 가능한가?

주요 결과

• 전체 이차 뉴런 구조는 CWRU 데이터셋에서 80.12%의 정확도, 50:1 불균형 비율에서 자체 개발 데이터셋에서 75.25%의 정확도를 기록하며, 변형된 버전보다 유의미하게 뛰어난 성능을 보였다.
• 이차 뉴런의 파워 항을 제거하면 CWRU 데이터셋에서 정확도가 75.30%로 떨어지고, 자체 개발 데이터셋에서는 62.38%로 떨어져, 이 항이 특징 학습에서 핵심적인 역할을 한다는 것을 시사한다.
• 내적곱 항 중 하나를 제거하면 CWRU 데이터셋에서 정확도가 3.99% 감소(79.39%)하고, 자체 개발 데이터셋에서는 13.09% 감소(62.16%)하여, 전체 이차 상호작용의 중요성을 입증한다.
• 커널 크기가 7인 다섯 층의 이차 네트워크가 최고의 성능을 보였으며, CWRU 데이터셋과 자체 개발 데이터셋에서 각각 80.12%와 75.25%의 정확도를 기록했다.
• CCQNet은 장기적 불균형 데이터를 다루는 데 있어 기존 최고 성능(SOTA) 방법을 능가하여, 불균형 상황에서 뛰어난 강건성과 일반화 능력을 보였다.
• 아블레이션 연구를 통해 파워 항과 전체 이차 상호작용이 최적 성능을 내기 위해 필수적임을 확인하였으며, 이차 뉴런 설계의 타당성을 검증하였다.