[论文解读] ID-Conditioned Auto-Encoder for Unsupervised Anomaly Detection

Sławomir Kapka|arXiv (Cornell University)|Jul 10, 2020

Anomaly Detection Techniques and Applications参考文献 22被引用 13

一句话总结

本论文提出了一种ID-Conditioned Auto-Encoder（IDCAE），用于基于声音的机械状态监测中的无监督异常检测，其中正常样本按唯一ID分组。通过将自编码器的潜在空间基于这些ID进行条件化，并仅对匹配ID的样本进行重建，同时对不匹配样本使用固定目标向量进行惩罚，该方法在DCASE 2020挑战赛数据集上的最终mAUC达到84.16，显著优于基线自编码器。

ABSTRACT

In this paper, we introduce ID-Conditioned Auto-Encoder for unsupervised anomaly detection. Our method is an adaptation of the Class-Conditioned Auto-Encoder (C2AE) designed for the open-set recognition. Assuming that non-anomalous samples constitute of distinct IDs, we apply Conditioned Auto-Encoder with labels provided by these IDs. Opposed to C2AE, our approach omits the classification subtask and reduces the learning process to the single run. We simplify the learning process further by fixing a constant vector as the target for non-matching labels. We apply our method in the context of sounds for machine condition monitoring. We evaluate our method on the ToyADMOS and MIMII datasets from the DCASE 2020 Challenge Task 2. We conduct an ablation study to indicate which steps of our method influences results the most.

研究动机与目标

• 解决在训练期间仅可用正常样本的机械声音监测中的无监督异常检测问题。
• 通过引入基于ID的条件化机制，改进标准自编码器，以提升正常样本的重建保真度。
• 通过省去独立的分类头，降低开放集识别方法的复杂性。
• 证明基于不同ID的条件化可实现正常与异常重建误差的更好分离。
• 通过简化的一次训练流程，在DCASE 2020挑战赛任务2数据集上实现最先进性能。

提出的方法

• 该模型采用编码器-解码器架构，通过两个学习函数Hγ和Hβ对一独热ID标签进行仿射变换，实现对潜在空间的ID条件化。
• 在训练过程中，模型以α概率接收匹配标签，以1−α概率接收不匹配标签；仅对匹配标签的样本最小化重建损失。
• 对于不匹配标签，模型被训练将输入重建为固定常数向量C，从而在异常或非ID样本上强制产生高误差。
• 损失函数使用重建输出与目标之间的L1或L2范数（匹配时为目标输入，不匹配时为C）。
• 推理阶段仅使用匹配标签，重建误差被用作异常评分。
• 通过在每类机器上优化异常评分的加权组合，形成包含三个模型的集成，以在验证数据上最大化mAUC。

实验结果

研究问题

• RQ1 在无监督异常检测中，对自编码器潜在空间基于唯一ID进行条件化，是否能提升正常样本的重建保真度？
• RQ2 在C2AE中省去独立分类头是否能降低训练复杂性，同时保持或提升性能？
• RQ3 对不匹配标签使用固定常数向量C，如何影响模型检测异常的能力？
• RQ4 通过数据组合增加训练ID数量，在多大程度上能提升检测性能？
• RQ5 通过结合多样化的异常评分预测，模型集成能否进一步提升性能？

主要发现

• 消融实验表明，添加条件化机制（Condition步骤）将平均pAUC从61.34显著提升至66.40，表明其在性能提升中的关键作用。
• 在开发集和附加数据集（AddDataset）上联合训练，使平均AUC从74.75提升至80.71，pAUC从61.34提升至69.95，证明了更多样化的正常ID带来的优势。
• 最终集成模型实现了平均mAUC为84.16，相较于基线系统（73.51）和DCASE 2020挑战赛基线，性能有显著提升。
• 该模型在Toy Car机器上达到峰值AUC 91.28，在Valve机器上达到88.27，表明其在多种机器类型上均表现强劲。
• 架构修改（Architect）和特征缩放（Scaler）影响微乎其微，表明核心性能提升源于条件化机制。
• 该方法通过有效将异常样本的重建误差推向远离正常分布的位置，实现了更好的误差分离，从而优于标准自编码器。