[论文解读] An Adaptive Oversampling Learning Method for Class-Imbalanced Fault Diagnostics and Prognostics

Wenfang Lin, Zhenyu Wu+1 more|arXiv (Cornell University)|Nov 19, 2018

Imbalanced Data Classification Techniques参考文献 4被引用 4

一句话总结

本文提出EWMOTE，一种自适应的合成过采样方法，通过结合基于期望最大化（EM）的插补与加权少数类采样，提升在类别不平衡工业系统中的故障诊断与预测性能，生成高质量的少数类样本。该方法在不同类别不平衡比率下，于二分类与多分类故障分类任务中均优于基线方法。

ABSTRACT

Data-driven fault diagnostics and prognostics suffers from class-imbalance problem in industrial systems and it raises challenges to common machine learning algorithms as it becomes difficult to learn the features of the minority class samples. Synthetic oversampling methods are commonly used to tackle these problems by generating the minority class samples to balance the distributions between majority and minority classes. However, many of oversampling methods are inappropriate that they cannot generate effective and useful minority class samples according to different distributions of data, which further complicate the process of learning samples. Thus, this paper proposes a novel adaptive oversampling technique: EM-based Weighted Minority Oversampling TEchnique (EWMOTE) for industrial fault diagnostics and prognostics. The methods comprises a weighted minority sampling strategy to identify hard-to-learn informative minority fault samples and Expectation Maximization (EM) based imputation algorithm to generate fault samples. To validate the performance of the proposed methods, experiments are conducted in two real datasets. The results show that the method could achieve better performance on not only binary class, but multi-class imbalance learning task in different imbalance ratios than other oversampling-based baseline models.

研究动机与目标

• 为解决工业系统数据驱动故障诊断与预测中的类别不平衡问题，其中少数类故障样本稀少且难以学习。
• 通过适应数据分布并识别难学习的有信息量样本，提升合成少数类样本的质量。
• 开发一种数据级过采样技术，提升分类器性能，且不依赖算法级修改。
• 在具有不同不平衡比率的真实工业数据集上验证所提方法的有效性。

提出的方法

• EWMOTE采用加权少数类采样策略，优先对难学习的少数类故障样本进行合成生成。
• 利用期望最大化（EM）算法插补缺失值，并基于现有少数类样本的潜在分布生成新少数类样本。
• 该方法在MWMOTE基础上引入EM插补，以保持数据分布并减少生成样本中的噪声。
• 结合特征提取（不进行降维）以保留诊断信息，随后在数据层面进行过采样，再进行分类。
• 该算法基于少数类的统计结构自适应生成合成样本，最小化对多数类边界的扰动。
• 框架通过特征提取、EWMOTE数据级过采样与分类的流水线进行评估，性能在多种不平衡比率下进行衡量。

实验结果

研究问题

• RQ1 自适应过采样方法是否能提升高度不平衡数据工业系统中的故障检测性能？
• RQ2 在不同不平衡比率下，EWMOTE在精确率、召回率与F-measure方面与SMOTE、MWMOTE及EMICIL相比表现如何？
• RQ3 EM插补与加权少数类采样相结合是否能生成比标准过采样技术更有效的合成样本？
• RQ4 EWMOTE在处理具有不同程度类别不平衡的多分类故障分类任务时，其鲁棒性如何？
• RQ5 与基线方法相比，EWMOTE在减少噪声或误导性少数类样本生成方面程度如何？

主要发现

• 在风力发电机冻结故障数据集上，EWMOTE的召回率为0.8302，精确率为0.8573，FAM为0.8326，优于SMOTE、MWMOTE与EMICIL。
• 在多故障工厂数据集中，EWMOTE在故障类别F3上达到最高F-measure（0.8793），并在所有故障类型中保持强劲表现。
• 对于高不平衡类别（如F5），EWMOTE的真正例率高于MWMOTE，假正例率低于EMICIL，表明其具有更好的鲁棒性。
• 在风力发电机数据集中，EWMOTE的F-measure相比SMOTE提升1.8%，相比MWMOTE提升0.7%，表明在平衡性能指标上具有持续增益。
• 混淆矩阵分析表明，EWMOTE生成了更准确且更少噪声的样本，尤其在高不平衡场景下，显著降低了少数类的误分类。
• EWMOTE对正常样本的精确率（0.9536）与召回率（0.9614）均保持高位，表明对多数类分布的干扰极小。