[论文解读] Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection

Choubo Ding, Guansong Pang+1 more|arXiv (Cornell University)|Mar 28, 2022

Anomaly Detection Techniques and Applications被引用 11

一句话总结

该论文提出DRA，一种新颖的开放集监督异常检测模型，通过学习已见异常、数据增强生成的伪异常以及潜在残差异常的解耦表征，实现对已知（灰天鹅）和未见（黑天鹅）异常的检测。通过在三种异常类型上进行多头学习，DRA在九个真实世界数据集上达到最先进性能，显著优于现有无监督和监督方法，尤其在仅存在少量或无已见异常样本的挑战性设置下表现突出。

ABSTRACT

Despite most existing anomaly detection studies assume the availability of normal training samples only, a few labeled anomaly examples are often available in many real-world applications, such as defect samples identified during random quality inspection, lesion images confirmed by radiologists in daily medical screening, etc. These anomaly examples provide valuable knowledge about the application-specific abnormality, enabling significantly improved detection of similar anomalies in some recent models. However, those anomalies seen during training often do not illustrate every possible class of anomaly, rendering these models ineffective in generalizing to unseen anomaly classes. This paper tackles open-set supervised anomaly detection, in which we learn detection models using the anomaly examples with the objective to detect both seen anomalies (`gray swans') and unseen anomalies (`black swans'). We propose a novel approach that learns disentangled representations of abnormalities illustrated by seen anomalies, pseudo anomalies, and latent residual anomalies (i.e., samples that have unusual residuals compared to the normal data in a latent space), with the last two abnormalities designed to detect unseen anomalies. Extensive experiments on nine real-world anomaly detection datasets show superior performance of our model in detecting seen and unseen anomalies under diverse settings. Code and data are available at: https://github.com/choubo/DRA.

研究动机与目标

• 为解决现有监督异常检测模型对已见异常过拟合且难以泛化到未见异常类别的问题。
• 实现在真实应用中对“灰天鹅”（已知、此前见过的异常）和“黑天鹅”（罕见、此前未知的异常）的有效检测。
• 利用有限的标注异常样本，结合数据增强和潜在空间残差分析，提升对未见异常模式的泛化能力。
• 开发一种统一框架，同时学习多样化的异常表征，而无需完全依赖标注异常数据。

提出的方法

• DRA采用多头神经网络架构，包含三个专用头，用于学习三种异常类型的解耦表征：已见异常、伪异常和潜在残差异常。
• 伪异常通过CutPaste-Scar和CutMix等数据增强技术生成，模拟真实但合成的异常模式。
• 潜在残差异常通过测量在学习到的潜在空间中的重建残差来识别，其中高残差表明可能存在未见异常。
• 模型使用对比学习目标，促使所有三个头中正常与异常表征之间的特征分离。
• 基于参考的残差学习机制通过采样N_r张正常图像来计算潜在残差，消融研究显示N_r = 5为最优。
• 最终异常得分是来自所有三个头预测结果的加权融合，从而实现对多样化异常类型的鲁棒检测。

实验结果

研究问题

• RQ1 当仅存在少量已知异常的标注样本时，监督异常检测模型是否能有效泛化到未见异常类别？
• RQ2 已见异常、伪异常和潜在残差异常这三种异常表征类型在提升检测泛化能力方面如何互补？
• RQ3 何种生成伪异常的策略能有效提升对未见异常的检测能力，同时避免引入偏差？
• RQ4 用于潜在残差计算的参考集大小如何影响对未见异常的检测性能？
• RQ5 解耦表征学习在有限或无异常数据的真实世界数据集上，能在多大程度上提升模型性能？

主要发现

• DRA在九个真实世界异常检测数据集上达到最先进性能，显著优于五种SOTA无监督和监督模型，尤其在检测未见异常方面表现优异。
• 在MVTec AD数据集上，DRA在'Leather'集上达到0.935 ± 0.013的平均AUC，在'Tile'集上达到0.922 ± 0.012，显著优于无监督方法KDAD和监督方法DevNet在未见异常检测上的表现。
• 当仅有一个训练异常样本可用时，DRA仍保持强劲性能，在'Thread'数据集上平均AUC达0.850 ± 0.070，展现出对低样本设置的鲁棒性。
• 在非医疗数据集上，使用数据增强生成的伪异常（如CutPaste-Scar）的效果优于外部数据源，而在医疗数据集（如Hyper-Kvasir）上，外部数据（如LAG）表现更优。
• 潜在残差学习的最优参考集大小为N_r = 5，将参考集增至10并未持续提升性能，甚至N_r = 1已足够实现有效检测。
• 敏感性分析表明，模型对伪异常来源和参考集大小的变化具有鲁棒性，在多种设置下均保持一致的性能提升。