[论文解读] Latent Outlier Exposure for Anomaly Detection with Contaminated Data

Chen Qiu, Aodong Li+3 more|arXiv (Cornell University)|Feb 16, 2022

Anomaly Detection Techniques and Applications被引用 15

一句话总结

本文提出了一种名为潜在异常暴露（Latent Outlier Exposure, LOE）的新方法，用于在包含未标记异常的污染数据集上训练深度异常检测模型。通过在两个耦合损失函数（分别针对正常数据和异常数据）之间交替更新模型参数与潜在二值标签（正常/异常），联合优化模型参数与潜在标签，LOE在图像、表格和视频异常检测基准上均取得了当前最优性能，即使在高污染比例下，也显著优于盲训练和数据精炼基线方法。

ABSTRACT

Anomaly detection aims at identifying data points that show systematic deviations from the majority of data in an unlabeled dataset. A common assumption is that clean training data (free of anomalies) is available, which is often violated in practice. We propose a strategy for training an anomaly detector in the presence of unlabeled anomalies that is compatible with a broad class of models. The idea is to jointly infer binary labels to each datum (normal vs. anomalous) while updating the model parameters. Inspired by outlier exposure (Hendrycks et al., 2018) that considers synthetically created, labeled anomalies, we thereby use a combination of two losses that share parameters: one for the normal and one for the anomalous data. We then iteratively proceed with block coordinate updates on the parameters and the most likely (latent) labels. Our experiments with several backbone models on three image datasets, 30 tabular data sets, and a video anomaly detection benchmark showed consistent and significant improvements over the baselines.

研究动机与目标

• 解决异常检测中常见但常被违反的假设，即训练数据中不含异常。
• 在训练数据包含未标记异常的现实场景下，提升异常检测性能。
• 开发一种与领域无关的方法，兼容多种深度学习主干网络和损失函数，适用于异常检测任务。
• 实现端到端训练，同时识别异常并学习鲁棒表征，而无需事先知晓异常位置信息。
• 在包括图像、表格数据和视频序列在内的多种数据类型上，超越现有方法（如盲训练和迭代数据精炼）的表现。

提出的方法

• 为每个数据点引入对连续模型参数与离散潜在标签（正常 vs. 异常）的联合优化框架。
• 使用两个耦合的损失函数：一个用于正常数据，一个用于异常数据，两者共享相同的模型参数。
• 采用交替优化（块坐标下降）策略，迭代更新模型参数并推断最可能的潜在标签。
• 利用自监督或对比学习损失作为核心异常评分机制，兼容如NTL、ResNet和自编码器等模型。
• 在推理阶段，仅通过阈值化其中一个损失函数即可检测异常，实现常数时间预测。
• 通过集成各种主干架构和损失函数，灵活适用于图像、表格和视频数据。

实验结果

研究问题

• RQ1 一种在训练过程中推断潜在异常标签的联合优化框架，能否提升在污染数据集上的异常检测性能？
• RQ2 该方法对训练数据中真实异常比例的错误假设有多强的鲁棒性？
• RQ3 在存在数据污染的情况下，该方法是否能超越成熟的基线方法（如盲训练和数据精炼）？
• RQ4 该方法能否在不同数据模态（包括图像、表格数据和视频序列）上实现良好泛化？
• RQ5 不同损失函数和主干模型对所提方法性能的影响如何？

主要发现

• LOE在所有评估的数据集上均显著优于盲训练和数据精炼基线方法，包括CIFAR-10、30个表格数据集以及UCSD行人视频基准数据集。
• 在UCSD行人视频数据集上，当污染比例为10%和20%时，LOE S的AUC分别比Deep Ordinal Regression高出18.8%和9.2%。
• LOE H表现出强鲁棒性：即使超参数α（假设的异常比例）与真实比例相差5%，性能下降也最多仅为1.4%。
• 当假设的异常比例α大于真实污染比例时，LOE S始终优于盲训练和数据精炼基线方法。
• 该方法在所有测试基准上均达到当前最优性能，涵盖图像、表格和视频异常检测任务。
• 即使在高污染水平下，该方法依然有效，表现出一致的性能提升，且无需事先知晓异常位置或进行显式数据清洗。