[论文解读] A class-weighted supervised contrastive learning long-tailed bearing fault diagnosis approach using quadratic neural network

Wei-En Yu, Jinwei Sun+3 more|arXiv (Cornell University)|Sep 21, 2023

Machine Fault Diagnosis Techniques被引用 5

一句话总结

本文提出CCQNet，一种基于二次神经网络的类别加权监督对比学习框架，用于解决长尾滚动轴承故障诊断问题。通过整合类别感知对比损失和logit调整交叉熵损失，CCQNet增强了对少数故障类别的特征区分能力，在50:1长尾不平衡比的专有数据集上达到75.25%的准确率，优于现有最先进方法。

ABSTRACT

Deep learning has achieved remarkable success in bearing fault diagnosis. However, its performance oftentimes deteriorates when dealing with highly imbalanced or long-tailed data, while such cases are prevalent in industrial settings because fault is a rare event that occurs with an extremely low probability. Conventional data augmentation methods face fundamental limitations due to the scarcity of samples pertaining to the minority class. In this paper, we propose a supervised contrastive learning approach with a class-aware loss function to enhance the feature extraction capability of neural networks for fault diagnosis. The developed class-weighted contrastive learning quadratic network (CCQNet) consists of a quadratic convolutional residual network backbone, a contrastive learning branch utilizing a class-weighted contrastive loss, and a classifier branch employing logit-adjusted cross-entropy loss. By utilizing class-weighted contrastive loss and logit-adjusted cross-entropy loss, our approach encourages equidistant representation of class features, thereby inducing equal attention on all the classes. We further analyze the superior feature extraction ability of quadratic network by establishing the connection between quadratic neurons and autocorrelation in signal processing. Experimental results on public and proprietary datasets are used to validate the effectiveness of CCQNet, and computational results reveal that CCQNet outperforms SOTA methods in handling extremely imbalanced data substantially.

研究动机与目标

• 解决滚动轴承故障诊断中长尾数据分布的挑战，即故障样本相对于正常运行状态极为稀少。
• 克服传统数据增强方法与标准深度学习模型在处理严重类别不平衡时的局限性。
• 通过在训练过程中对所有类别给予相等关注，增强对少数故障类别的特征表示能力。
• 探究二次神经网络在通过自相关类似操作捕捉局部故障特征方面的有效性。
• 开发一种鲁棒的端到端框架，使其在高度不平衡的真实工业场景中具有良好的泛化能力。

提出的方法

• 设计一种二次残差网络（QResNet）主干网络，从原始振动信号中提取分层特征，利用二次神经元建模二阶交互的能力。
• 在对比学习分支中引入类别加权对比损失，以促进类间分离与类内紧凑，通过类别权重平衡头部类与尾部类的影响。
• 在分类器分支中采用logit调整交叉熵损失，以优化决策边界并提升对少数类别的泛化能力。
• 建立二次神经元与信号处理中自相关性的理论联系，证明其在检测振动信号中周期性故障模式方面的适用性。
• 采用双分支架构端到端训练模型：一个用于对比特征学习，一个用于分类，联合优化两个损失函数。
• 开展消融研究以验证各组件的贡献，包括完整的二次神经元结构、幂项与内积项。

实验结果

研究问题

• RQ1 类别加权对比学习损失是否能有效提升长尾滚动轴承故障诊断中少数故障类别的特征表示？
• RQ2 与标准CNN相比，二次神经网络架构在检测局部故障特征方面有何增强作用？
• RQ3 在二次神经元中，幂项与内积项对整体模型性能的相对贡献如何？
• RQ4 在极端类别不平衡（如50:1比例）下，CCQNet相较于最先进方法的性能提升程度如何？
• RQ5 所提出的框架是否能在不同数据集上泛化，包括公开数据集（CWRU）与专有工业数据集？

主要发现

• 完整二次神经元结构在CWRU数据集上达到80.12%的准确率，在50:1不平衡比的专有数据集上达到75.25%，显著优于降级变体。
• 移除二次神经元中的幂项后，CWRU数据集准确率降至75.30%，专有数据集降至62.38%，表明其在特征学习中的关键作用。
• 移除一个内积项导致CWRU数据集准确率下降3.99%（降至79.39%），专有数据集下降13.09%（降至62.16%），表明完整二次交互的重要性。
• 五层二次网络（卷积核大小为7）表现最佳，在CWRU与专有数据集上分别达到80.12%与75.25%的准确率。
• CCQNet在处理长尾数据方面优于最先进方法，展现出在不平衡场景下的优越鲁棒性与泛化能力。
• 消融研究证实，幂项与完整二次交互均为实现最优性能所必需，验证了二次神经元设计的有效性。