[论文解读] Learning and Evaluating Representations for Deep One-class Classification

Kihyuk Sohn, Chunliang Li+3 more|arXiv (Cornell University)|Nov 4, 2020

Anomaly Detection Techniques and Applications参考文献 77被引用 92

一句话总结

两阶段框架从一类数据学习自监督表征，然后在这些表征上训练一类分类器（OC-SVM 或 KDE），通过分布增强对比学习在视觉一类基准中提升性能。

ABSTRACT

We present a two-stage framework for deep one-class classification. We first learn self-supervised representations from one-class data, and then build one-class classifiers on learned representations. The framework not only allows to learn better representations, but also permits building one-class classifiers that are faithful to the target task. We argue that classifiers inspired by the statistical perspective in generative or discriminative models are more effective than existing approaches, such as a normality score from a surrogate classifier. We thoroughly evaluate different self-supervised representation learning algorithms under the proposed framework for one-class classification. Moreover, we present a novel distribution-augmented contrastive learning that extends training distributions via data augmentation to obstruct the uniformity of contrastive representations. In experiments, we demonstrate state-of-the-art performance on visual domain one-class classification benchmarks, including novelty and anomaly detection. Finally, we present visual explanations, confirming that the decision-making process of deep one-class classifiers is intuitive to humans. The code is available at https://github.com/google-research/deep_representation_one_class.

研究动机与目标

• 对一类分类任务中学习高质量表征的挑战进行动机阐释并给出解决方案。
• 提出一个将表征学习与一类分类器训练分离的两阶段框架。
• 系统性比较自监督方法（数据增强预测、对比学习）在一类任务中的效果。
• 引入分布增强对比学习以提升一类检测的特征表征。
• 在视觉一类基准上展示最新结果并提供可视化解释。

提出的方法

• 两阶段框架：（1）使用自监督方法从一类数据学习表征，并提供投影头以提升下游效用；（2）在学习到的表征上训练一类分类器（OC-SVM 或 KDE）。
• 分析原始对比学习在一类任务中的局限性（均匀性和类别碰撞），并提出修正。
• 引入分布增强对比学习，通过几何变换扩展训练分布，减少均匀性并提升可分性。
• 评估多种自监督方法（数据增强预测、旋转预测、原始对比学习与分布增强对比学习），并比较作为检测器的 OC-SVM 与 KDE。
• 提供一种基于梯度的深度一类分类器解释方法，利用学习到的表征上的 KDE 实现可视化解释。
• 将该方法应用到 CIFAR-10/100、Fashion-MNIST、Cat-vs-Dog、CelebA 与 MVTec AD 等数据集，并进行广泛的消融分析。

实验结果

研究问题

• RQ1 如何从一类数据中有效学习自监督表征，以实现可靠的一类分类？
• RQ2 不同自监督任务（数据增强预测、旋转、对比学习）对一类检测性能有何影响？
• RQ3 分布增强对比学习是否优于原生方法在一类表征质量上的提升？
• RQ4 在使用学习到的表征进行一类任务时，OC-SVM 与 KDE 作为检测器的表现差异如何？
• RQ5 我们能否为深度一类分类器提供有意义的基于梯度的解释？

主要发现

• 分布增强对比学习在多个数据集上获得最高的平均 AUC（89.9），优于原生方法。
• 在学习到的表征上使用 KDE 或 OC-SVM 的结果与在模拟离异常样本上训练的替代分类器相比具有竞争力甚至更优。
• 在 RotNet 表征上使用旋转预测并使用一个多层感知器投影头可以提升 AUC；使用 KDE 在 RotNet 表征上甚至可超越直接的旋转分类器。
• 仅靠对比学习在没有修正的情况下表现欠佳，因为存在均匀性和类别碰撞的问题；通过合适的调整（限制批量大小、投影头、分布增强）可以提升性能。
• 两阶段框架在 CIFAR-10、CIFAR-100、Fashion-MNIST、Cat-vs-Dog、CelebA 和 MVTec AD 上实现了最先进的结果，且无需测试时增强或集成。