[论文解读] ESAD: End-to-end Deep Semi-supervised Anomaly Detection

Chaoqin Huang, Fei Ye+4 more|arXiv (Cornell University)|Dec 9, 2020

Anomaly Detection Techniques and Applications参考文献 59被引用 8

一句话总结

ESAD 提出了一种端到端的深度半监督异常检测方法，通过在新颖的编码器-解码器-编码器架构中联合优化互信息和熵，利用具有一致潜在约束的双编码器解决这两个目标之间的冲突。该方法在多个基准数据集上实现了最先进性能，包括医学影像和标准异常检测数据集，对标签污染具有更强的鲁棒性，并在多样化异常类别上表现出更优的泛化能力。

ABSTRACT

This paper explores semi-supervised anomaly detection, a more practical setting for anomaly detection where a small additional set of labeled samples are provided. We propose a new KL-divergence based objective function for semi-supervised anomaly detection, and show that two factors: the mutual information between the data and latent representations, and the entropy of latent representations, constitute an integral objective function for anomaly detection. To resolve the contradiction in simultaneously optimizing the two factors, we propose a novel encoder-decoder-encoder structure, with the first encoder focusing on optimizing the mutual information and the second encoder focusing on optimizing the entropy. The two encoders are enforced to share similar encoding with a consistent constraint on their latent representations. Extensive experiments have revealed that the proposed method significantly outperforms several state-of-the-arts on multiple benchmark datasets, including medical diagnosis and several classic anomaly detection benchmarks.

研究动机与目标

• 为解决半监督异常检测中互信息和熵这两个相互冲突目标的优化挑战。
• 克服现有两阶段训练方法（如 Deep SAD）中的模型崩溃问题，其中熵最小化会损害互信息。
• 通过将互信息和熵整合到统一的目标函数中，实现端到端训练。
• 提升对污染的无标签数据的鲁棒性，并增强在多样化异常类别上的泛化能力。

提出的方法

• 提出一种基于 KL 散度的目标函数，其可分解为数据与潜在表示之间的互信息，以及潜在表示的熵。
• 引入一种编码器-解码器-编码器架构，包含两个独立的编码器：一个专注于最大化正常数据的互信息，另一个专注于最小化异常数据的熵。
• 通过约束确保两个编码器之间潜在表示的一致性，以在保持对齐的同时实现专业化优化。
• 在自编码器分支中使用自监督重建损失，以保持数据重建保真度。
• 引入一个辅助损失项（λ₂）以稳定训练过程，防止两个编码器坍缩为相同的常数函数。
• 采用联合优化框架，以端到端方式同时最大化互信息并控制熵。

实验结果

研究问题

• RQ1 互信息和熵是否可以在单一端到端框架中联合优化，用于半监督异常检测？
• RQ2 在训练过程中，如何解决最大化互信息与最小化熵之间的固有矛盾？
• RQ3 具有双专用编码器的编码器-解码器-编码器结构是否优于顺序或单编码器方法？
• RQ4 所提出方法对无标签训练集中的标签污染有多大的鲁棒性？
• RQ5 增加有标签异常类别的多样性是否能提升检测性能？

主要发现

• ESAD 在多个基准数据集上实现了最先进性能，包括 CIFAR-10、MNIST 以及医学影像数据集（如 Camelyon16 和 NIH 胸部 X 光片）。
• 在 CIFAR-10 上，当有标签异常类别数从 1 增加到 5 时，AUC 从 81.9% 提升至 86.7%，在 5% 有标签数据和 10% 污染率下表现优异。
• 在存在污染的无标签数据（γₚ = 0.1）时，ESAD 的性能下降最小，展现出卓越的鲁棒性。
• 当辅助损失权重 λ₂ 设为 1 时，模型达到最佳性能；若 λ₂ 太大或为零，性能均下降，证实其在稳定训练中的关键作用。
• T-SNE 可视化结果表明，两个编码器学习到了不同但一致的表示，验证了该设计在平衡冲突目标方面的有效性。
• 即使在不完整无监督设置下（无有标签异常），ESAD 仍表现出具有竞争力的性能，尽管该方法并非为此类场景而设计。