[论文解读] Knowledge Transfer based Evolutionary Deep Neural Network for Intelligent Fault Diagnosis

Arun Sharma, Nishchal K. Verma|arXiv (Cornell University)|Sep 28, 2021

Evolutionary Algorithms and Applications被引用 6

一句话总结

该论文提出EvoN2N，一种基于知识迁移的进化深度神经网络框架，通过多目标优化自动搜索最优DNN架构。通过在实数编码的染色体中编码网络深度和宽度，并利用迁移学习实现更快的适应度评估，该方法在不同工况下的工业故障诊断数据集上实现了接近100%的分类准确率。

ABSTRACT

A faster response with commendable accuracy in intelligent systems is essential for the reliability and smooth operations of industrial machines. Two main challenges affect the design of such intelligent systems: (i) the selection of a suitable model and (ii) domain adaptation if there is a continuous change in operating conditions. Therefore, we propose an evolutionary Net2Net transformation (EvoN2N) that finds the best suitable DNN architecture with limited availability of labeled data samples. Net2Net transformation-based quick learning algorithm has been used in the evolutionary framework of Non-dominated sorting genetic algorithm II to obtain the best DNN architecture. Net2Net transformation-based quick learning algorithm uses the concept of knowledge transfer from one generation to the next for faster fitness evaluation. The proposed framework can obtain the best model for intelligent fault diagnosis without a long and time-consuming search process. The proposed framework has been validated on the Case Western Reserve University dataset, the Paderborn University dataset, and the gearbox fault detection dataset under different operating conditions. The best models obtained are capable of demonstrating an excellent diagnostic performance and classification accuracy of almost up to 100% for most of the operating conditions.

研究动机与目标

• 解决在可变工况下为智能故障诊断选择最优深度神经网络（DNN）架构的挑战。
• 克服传统超参数搜索方法计算成本高、耗时长的局限性。
• 通过结合进化架构搜索与领域自适应，实现实时工业环境下的快速准确故障诊断。
• 通过在进化过程中利用预训练模型进行知识迁移，减少对大规模重新训练的需求。
• 开发一种可扩展且高效的框架，实现仅需少量标注数据的实时工业故障诊断自动化架构搜索。

提出的方法

• 将DNN架构（深度与宽度）编码为实数编码的染色体，用于进化优化。
• 使用非支配排序遗传算法II（NSGA-II）对网络深度与宽度进行多目标优化。
• 实施一种混合交叉技术，以有效探索和开发深度与宽度参数的搜索空间。
• 提出一种基于知识迁移的适应度评估方案，通过预训练源模型初始化个体，加速收敛。
• 通过从源域的预训练模型初始化DNN权重，应用迁移学习，减少每个个体的训练时间。
• 在适应度评估期间使用L-BFGS进行参数优化，确保所进化架构的高效训练。

Figure 1: General structure of DNN with softmax classifier

实验结果

研究问题

• RQ1 进化框架是否能在无需手动调参的情况下，有效搜索出用于故障诊断的最优DNN架构？
• RQ2 在适应度评估过程中引入知识迁移，如何提升进化架构搜索的效率与性能？
• RQ3 所提出方法在不同工业数据集上，面对不同工况时，其泛化能力如何？
• RQ4 与SVM、DTL、DAFD和EvoDCNN等现有最先进方法相比，所提出的EvoN2N框架在性能与效率上表现如何？
• RQ5 混合交叉与多目标优化对收敛速度与诊断准确率有何影响？

主要发现

• 所提出的EvoN2N框架在凯斯西储大学（CWRU）、帕德博恩大学（PBU）和齿轮箱故障检测（GFD）数据集上的分类准确率接近100%，显著优于基线方法。
• 在所有三个数据集上，迁移改进（TI）在平均分类准确率上均显著高于基线SVM，证明了其强大的领域自适应能力。
• 适应度值随世代稳步提升，表明NSGA-II结合混合交叉与变异策略在有效探索与开发方面表现良好。
• 该框架在性能上优于最先进的方法，包括DTL、DAFD和EvoDCNN，证实其在架构搜索与诊断性能方面的优越性。
• 算法复杂度近似为O(N_I * N_p * n^2)，其中N_I为训练迭代次数，N_p为种群规模，n为参数数量，表明在控制种群规模下具备良好的可扩展性。
• 在适应度评估中引入知识迁移可显著减少每个个体的训练时间，实现更快收敛而不损失准确率。

Figure 2: Net2Net transformation: new nodes and connecting weights are shown in red color