[论文解读] Elsa: Energy-based learning for semi-supervised anomaly detection

Sungwon Han, Hyeonho Song+3 more|arXiv (Cornell University)|Mar 29, 2021

Anomaly Detection Techniques and Applications参考文献 27被引用 6

一句话总结

Elsa 提出了一种新颖的半监督异常检测方法，通过将无监督对比学习与基于原型的能量函数统一，提升了对数据污染的鲁棒性。通过使用基于学习到的原型与输入嵌入之间余弦相似度的能量得分对嵌入进行微调，Elsa 在基准数据集上实现了最先进（SOTA）的性能，即使训练数据中包含未知异常，也能保持优异表现。

ABSTRACT

Anomaly detection aims at identifying deviant instances from the normal data distribution. Many advances have been made in the field, including the innovative use of unsupervised contrastive learning. However, existing methods generally assume clean training data and are limited when the data contain unknown anomalies. This paper presents Elsa, a novel semi-supervised anomaly detection approach that unifies the concept of energy-based models with unsupervised contrastive learning. Elsa instills robustness against any data contamination by a carefully designed fine-tuning step based on the new energy function that forces the normal data to be divided into classes of prototypes. Experiments on multiple contamination scenarios show the proposed model achieves SOTA performance. Extensive analyses also verify the contribution of each component in the proposed model. Beyond the experiments, we also offer a theoretical interpretation of why contrastive learning alone cannot detect anomalies under data contamination.

研究动机与目标

• 解决在训练数据包含未知异常时，对比学习在异常检测中的局限性。
• 开发一个统一框架，结合无监督对比预训练与半监督能量基微调。
• 通过基于原型的能量评分学习结构化的正常数据分布，提升模型鲁棒性。
• 通过利用少量正常/分布外（OOD）标签，实现最小化标注数据下的有效异常检测。
• 从能量模型视角，提供对标准对比学习在数据污染下失效原因的理论洞察。

提出的方法

• 使用增强数据上的对比学习对特征编码器进行预训练，以学习可泛化的表征。
• 基于输入嵌入与学习到的原型向量之间的余弦相似度，定义一个能量函数以建模正常性。
• 使用判别性分类器计算作为能量得分的logits，其中低能量表示正常，高能量表示异常。
• 使用一种新颖的损失函数对模型进行微调，该损失函数最大化异常样本的逆能量，同时最小化正常样本的能量。
• 引入基于原型的机制，以捕捉正常数据中的类内多样性，而无需真实类别标签。
• 基于区分原始样本与增强样本的验证分数实施早停策略，该分数与测试性能高度相关。

实验结果

研究问题

• RQ1 当训练数据中包含未知异常时，为何标准对比学习无法检测异常？
• RQ2 如何有效结合基于能量的学习与无监督对比表示学习以实现异常检测？
• RQ3 原型数量与早停策略对模型性能与泛化能力的影响如何？
• RQ4 少量标注的正常/OOD样本是否能显著提升在污染训练数据中的检测鲁棒性？
• RQ5 与现有损失目标相比，所提出的能量函数在分离正常与异常分布方面表现如何？

主要发现

• Elsa 在 CIFAR-10 及其他基准数据集上实现了最先进性能，即使仅使用少量标注样本亦然。
• 在训练数据中存在未知异常的场景下，模型表现出强大的鲁棒性，优于现有 SOTA 方法。
• 消融研究显示，改变对比学习目标的能量函数会导致性能最大降幅，验证了理论分析。
• 基于区分原始样本与增强样本的早停分数与测试 AUROC 的皮尔逊相关系数高达 0.912 ± 0.038，可实现可靠的早停。
• 能量得分分布随训练过程演变：正常样本向原型聚集，而异常样本则分散开来，实现清晰分离。
• 定性分析表明，原型能够捕捉到有意义且视觉上连贯的正常数据聚类，例如 CIFAR-10 中飞机类别中不同的形状。