[论文解读] A Cost-Sensitive Deep Belief Network for Imbalanced Classification

Chong Zhang, Kay Chen Tan+2 more|arXiv (Cornell University)|Apr 28, 2018

Imbalanced Data Classification Techniques被引用 15

一句话总结

本文提出了一种进化成本敏感深度置信网络（ECS-DBN），利用自适应差分进化算法自动优化不平衡数据的误分类成本，显著提升了少数类性能，且不改变数据分布。该方法在基准数据集和真实世界故障诊断数据集上均优于最先进方法，G-mean值更高，计算效率优于基于重采样的方法。

ABSTRACT

Imbalanced data with a skewed class distribution are common in many real-world applications. Deep Belief Network (DBN) is a machine learning technique that is effective in classification tasks. However, conventional DBN does not work well for imbalanced data classification because it assumes equal costs for each class. To deal with this problem, cost-sensitive approaches assign different misclassification costs for different classes without disrupting the true data sample distributions. However, due to lack of prior knowledge, the misclassification costs are usually unknown and hard to choose in practice. Moreover, it has not been well studied as to how cost-sensitive learning could improve DBN performance on imbalanced data problems. This paper proposes an evolutionary cost-sensitive deep belief network (ECS-DBN) for imbalanced classification. ECS-DBN uses adaptive differential evolution to optimize the misclassification costs based on training data, that presents an effective approach to incorporating the evaluation measure (i.e. G-mean) into the objective function. We first optimize the misclassification costs, then apply them to deep belief network. Adaptive differential evolution optimization is implemented as the optimization algorithm that automatically updates its corresponding parameters without the need of prior domain knowledge. The experiments have shown that the proposed approach consistently outperforms the state-of-the-art on both benchmark datasets and real-world dataset for fault diagnosis in tool condition monitoring.

研究动机与目标

• 为解决传统深度置信网络（DBNs）因假设误分类成本相等而在不平衡数据分类任务中失效的问题。
• 开发一种无需先验领域知识即可自动确定最优误分类成本的方法，尤其适用于真实应用中成本未知的情况。
• 通过进化优化集成成本敏感学习，提升DBN在不平衡数据集中对少数类的性能表现。
• 与SMOTE和ADASYN等基于重采样的方法相比，降低计算开销，同时保持或提升分类准确率。
• 实现在大规模不平衡数据集上的有效且高效学习，特别是在工具状态监测等真实工业应用中。

提出的方法

• 所提出的ECS-DBN通过自适应差分进化（jDE）算法优化误分类成本，将成本敏感学习集成到深度置信网络中。
• jDE算法在优化过程中动态调整其参数，实现无需先验知识的最优成本值自动搜索。
• 优化的目标函数基于G-mean指标，该指标平衡了敏感性和特异性，确保少数类性能得到提升。
• 误分类成本在训练数据上进行优化后应用于DBN，保留原始数据分布，避免数据层面的处理。
• 该方法设计为可扩展至多分类和动态数据场景，与重采样技术相比计算开销更低。
• 框架通过58个基准数据集和一个真实世界的枪钻故障诊断数据集进行评估，采用5折交叉验证，共进行10次试验。

Figure 1 : Schematic diagram of a cost-sensitive deep belief network (CSDBN) with misclassification costs for different classes in the output layer .

实验结果

研究问题

• RQ1 进化成本敏感方法是否能提升深度置信网络在不平衡分类任务中的性能？
• RQ2 当真实应用中误分类成本未知时，自适应差分进化算法如何优化这些成本？
• RQ3 所提出的ECS-DBN在大规模数据集上是否在准确率和计算效率方面均优于传统基于重采样的方法（如SMOTE、ADASYN）？
• RQ4 成本敏感学习策略在不降低多数类性能的前提下，对少数类检测的增强程度如何？
• RQ5 ECS-DBN框架能否有效应用于真实世界的工业应用，如工具状态监测？

主要发现

• 在58个基准数据集上，所提出的ECS-DBN在G-mean和精确率方面显著优于标准DBN、SMOTE-DBN、ADASYN-DBN及其他基于重采样方法。
• 在真实世界的枪钻故障诊断数据集上，ECS-DBN实现了最高的平均计算效率，总训练时间为9977.39 ± 148.55秒，优于SMOTE-SVM-DBN的20942.94 ± 6609.65秒。
• 自适应差分进化算法高效优化了误分类成本，计算开销极低，仅占总训练时间的1280.28秒。
• ECS-DBN通过寻找最优成本值显著提升了少数类准确率，如图9所示，其少数类准确率显著高于网格搜索或标准DBN方法。
• 与在误分类成本上进行网格搜索相比，ECS-DBN在G-mean和精确率方面表现更优，如图8所示，实心黄色圆点（ECS-DBN）始终优于其他配置。
• 该框架展现出良好的鲁棒性与可扩展性，具备扩展至其他深度学习模型（如CNN）及存在概念漂移的在线学习场景的潜力。

Figure 2 : Illustration of chromosome encoding and evolution process in ECS-DBN. The chromosome is encoded with the misclassification costs of different classes in numerical type. The evolution process mainly includes mutation, crossover, evaluation and selection. The population is iteratively evolv