[论文解读] Augmenting Monte Carlo Dropout Classification Models with Unsupervised Learning Tasks for Detecting and Diagnosing Out-of-Distribution Faults

Baihong Jin, Yingshui Tan+2 more|arXiv (Cornell University)|Sep 10, 2019

Anomaly Detection Techniques and Applications参考文献 5被引用 6

一句话总结

本文提出了一种新颖的神经网络架构，通过联合训练蒙特卡洛丢弃分类器与自编码器，以提升故障检测与诊断性能，尤其针对分布外故障。通过结合有监督分类与无监督重建，该模型在三个不同数据集上对早期故障和未知故障实现了更优的不确定性估计与诊断准确率。

ABSTRACT

The Monte Carlo dropout method has proved to be a scalable and easy-to-use approach for estimating the uncertainty of deep neural network predictions. This approach was recently applied to Fault Detection and Di-agnosis (FDD) applications to improve the classification performance on incipient faults. In this paper, we propose a novel approach of augmenting the classification model with an additional unsupervised learning task. We justify our choice of algorithm design via an information-theoretical analysis. Our experimental results on three datasets from diverse application domains show that the proposed method leads to improved fault detection and diagnosis performance, especially on out-of-distribution examples including both incipient and unknown faults.

研究动机与目标

• 解决在标注数据稀缺或不可用的情况下，检测与诊断分布外故障（尤其是早期与未知故障）的挑战。
• 在不增加计算成本的前提下，提升深度学习模型在故障检测与诊断（FDD）任务中的不确定性估计能力。
• 将有监督学习（分类）与无监督学习（重建）的优势整合到单一联合训练框架中。
• 使模型能够在面对未见过的故障类型时，仍能标记不确定预测并提供诊断洞察。
• 验证联合训练中引入解码路径是否能增强潜在空间的解耦性，并提升故障检测灵敏度。

提出的方法

• 模型将蒙特卡洛丢弃分类器与共享编码器及独立的解码路径相结合，实现分类与重建任务的联合训练。
• 编码器将输入数据映射为共享潜在表示，该表示同时用于分类（通过启用丢弃的推理）与重建。
• 重建损失仅在训练期间应用于正常（无故障）数据，而分类损失则应用于所有数据，包括故障样本。
• 联合目标函数结合了交叉熵损失（用于分类）与均方误差损失（用于重建），并通过超参数 α 平衡两者。
• 信息论分析证明了解码路径可对潜在空间进行正则化，促进解耦且鲁棒的表示学习。
• 推理阶段，通过应用蒙特卡洛丢弃生成不确定性估计，同时利用重建误差提供额外的异常评分。

实验结果

研究问题

• RQ1 与独立模型相比，联合训练蒙特卡洛丢弃分类器与自编码器是否能提升对分布外故障的检测性能？
• RQ2 解码路径的引入在多大程度上影响了潜在空间的解耦性与可解释性，以支持故障诊断？
• RQ3 联合训练框架是否能增强对早期与未知故障的不确定性估计能力？
• RQ4 所提出方法在故障检测与诊断准确率方面，相较于蒙特卡洛丢弃分类器与蒙特卡洛丢弃自编码器，优势程度如何？
• RQ5 通过共享表示学习，是否能同时提升模型的重建能力与分类性能？

主要发现

• 在甲状腺数据集上，所提模型显著提升了早期故障（SL1 至 SL3）的诊断准确率，并使未知故障的二分类准确率从 0.433 提升至 0.936。
• 在冷水机组数据集上，模型降低了平均检测阈值，表明对异常的敏感性更高。
• 在 MNIST 数字数据集上，模型在模糊数据上的二分类准确率达到 0.530，优于蒙特卡洛丢弃分类器与自编码器。
• 非零数字的诊断准确率从 0.587 提升至 0.717，模糊数字的诊断准确率从 0.231 提升至 0.300，表明故障诊断能力更强。
• 通过线性判别分析（LDA）进行潜在空间可视化显示，所提模型的数据簇分布更分散，尤其能更好分离早期故障与正常数据。
• 所提模型的平均异常评分高于分类器对分布外样本的评分，表明对未见故障的敏感性更强。