[论文解读] Domain Adaptive Transfer Learning for Fault Diagnosis

Qin Wang, Gabriel Michau+1 more|arXiv (Cornell University)|May 15, 2019

Domain Adaptation and Few-Shot Learning参考文献 23被引用 23

一句话总结

该论文提出领域自适应神经网络（DANN）、最大均值差异（MMD）和自适应批量归一化（AdaBN），用于故障诊断中的领域自适应迁移学习。在CWRU轴承数据集上采用统一协议评估这些方法，结果显示DANN在训练时间更短的情况下实现了超过99.0%的平均准确率，优于MMD；而AdaBN在计算成本较低的情况下实现了中等性能提升。

ABSTRACT

Thanks to digitization of industrial assets in fleets, the ambitious goal of transferring fault diagnosis models fromone machine to the other has raised great interest. Solving these domain adaptive transfer learning tasks has the potential to save large efforts on manually labeling data and modifying models for new machines in the same fleet. Although data-driven methods have shown great potential in fault diagnosis applications, their ability to generalize on new machines and new working conditions are limited because of their tendency to overfit to the training set in reality. One promising solution to this problem is to use domain adaptation techniques. It aims to improve model performance on the target new machine. Inspired by its successful implementation in computer vision, we introduced Domain-Adversarial Neural Networks (DANN) to our context, along with two other popular methods existing in previous fault diagnosis research. We then carefully justify the applicability of these methods in realistic fault diagnosis settings, and offer a unified experimental protocol for a fair comparison between domain adaptation methods for fault diagnosis problems.

研究动机与目标

• 解决在新机器上部署时，由于运行条件不同导致数据驱动故障诊断模型泛化能力差的问题。
• 评估领域自适应方法——DANN、MMD和AdaBN——在真实故障诊断场景中的适用性和有效性。
• 在CWRU滚动轴承数据集上建立公平、统一的实验协议，用于比较不同领域自适应方法。
• 评估不同领域自适应技术在模型准确率、训练效率和计算复杂度之间的权衡。

提出的方法

• 使用领域对抗性神经网络（DANN）通过梯度反转层对齐源域（有标签）和目标域（无标签）的特征分布。
• 采用最大均值差异（MMD）最小化隐藏层中源域和目标域特征之间的分布差异。
• 提出自适应批量归一化（AdaBN），在不增加额外参数的情况下适应目标域的批量归一化统计量。
• 所有方法均采用统一的实验协议，包括一致的网络架构、数据预处理和CWRU数据集上的训练策略。
• 通过领域判别器实施DANN中的对抗性训练，促使特征提取器生成领域不变的表示。
• 在相同机群中针对不同轴承故障类型和运行速度的多种领域偏移场景下评估各方法。

实验结果

研究问题

• RQ1 领域自适应方法能否有效提升在运行条件不同的新机器上的故障诊断性能？
• RQ2 在真实故障诊断环境中，DANN、MMD和AdaBN在准确率、训练时间和模型复杂度方面如何比较？
• RQ3 在公平、统一的实验协议下，各方法之间是否存在显著的性能差距？
• RQ4 高准确率方法（如MMD）与更高效替代方案（如AdaBN或DANN）之间的计算权衡是什么？
• RQ5 对抗性领域自适应（DANN）能否成功应用于标注数据有限的工业故障诊断任务？

主要发现

• DANN在目标域上实现了超过99.0%的平均准确率，表现出色，且训练时间显著短于MMD。
• MMD实现了最高的平均准确率（99.4%），但其时间复杂度为二次方，导致在大规模数据集上计算成本过高。
• AdaBN在增加极少参数和计算开销的前提下，实现了中等性能提升，适用于资源受限环境。
• DANN在准确率与效率之间实现了良好权衡，性能优于AdaBN，且训练成本远低于MMD，接近MMD的性能水平。
• 统一的实验协议实现了公平比较，并揭示MMD的高准确率是以可扩展性为代价的，因其时间复杂度较高。
• 三种方法均显著提升了模型在未见目标域上的泛化能力，证实了领域自适应在工业故障诊断中的实际价值。