[论文解读] DROCC: Deep Robust One-Class Classification

Sachin Goyal, Aditi Raghunathan+3 more|arXiv (Cornell University)|Feb 28, 2020

Anomaly Detection Techniques and Applications参考文献 37被引用 7

一句话总结

DROCC 提出了一种深度鲁棒的一类分类方法，将正常数据建模为位于低维、局部线性流形上，采用梯度下降-上升训练方案以避免表征坍塌。该方法实现了最先进性能，在图像、表格数据、音频和时间序列数据集上，异常检测准确率最高提升20%，尤其在负样本有限的分布外（OOD）泛化设置下表现优异。

ABSTRACT

Classical approaches for one-class problems such as one-class SVM and isolation forest require careful feature engineering when applied to structured domains like images. State-of-the-art methods aim to leverage deep learning to learn appropriate features via two main approaches. The first approach based on predicting transformations (Golan & El-Yaniv, 2018; Hendrycks et al., 2019a) while successful in some domains, crucially depends on an appropriate domain-specific set of transformations that are hard to obtain in general. The second approach of minimizing a classical one-class loss on the learned final layer representations, e.g., DeepSVDD (Ruff et al., 2018) suffers from the fundamental drawback of representation collapse. In this work, we propose Deep Robust One-Class Classification (DROCC) that is both applicable to most standard domains without requiring any side-information and robust to representation collapse. DROCC is based on the assumption that the points from the class of interest lie on a well-sampled, locally linear low dimensional manifold. Empirical evaluation demonstrates that DROCC is highly effective in two different one-class problem settings and on a range of real-world datasets across different domains: tabular data, images (CIFAR and ImageNet), audio, and time-series, offering up to 20% increase in accuracy over the state-of-the-art in anomaly detection. Code is available at https://github.com/microsoft/EdgeML.

研究动机与目标

• 为解决 DeepSVDD 等方法中的表征坍塌问题，这是该类方法的关键局限。
• 开发一种在多种领域（图像、表格数据、音频、时间序列）中均有效的通用方法，无需依赖领域特定的转换或辅助信息。
• 在负样本极少的场景下，提升对分布外（OOD）样本和近似负样本的泛化能力。
• 在仅提供少量负样本的情况下，实现鲁棒的一类学习，将正类建模为采样充分的低维流形。

提出的方法

• DROCC 将正常数据建模为位于低维、局部线性流形上，利用潜在空间中的欧氏距离检测异常。
• 将训练过程形式化为鞍点问题：对正常样本进行梯度下降，对合成生成的异常样本进行梯度上升。
• 通过在分类器损失上进行梯度上升，自适应地在训练过程中生成异常样本，以模拟具有挑战性的 OOD 样例。
• 该方法使用深度神经网络学习表征，随后通过分类器将正常样本与对抗生成的异常样本区分开。
• 在 OCLN（一类分类中负样本有限）设置下，DROCC–LF 通过引入学习到的、偏斜的距离函数，更好地捕捉数据内在结构。
• 优化过程使用标准的随机梯度下降与上升，通过简化投影集合以提升计算效率。

实验结果

研究问题

• RQ1 能否在不依赖启发式约束的前提下，使深度一类分类器对表征坍塌具有鲁棒性？
• RQ2 当仅提供少量负样本时，该方法能否在 OOD 和近似负样本上实现有效泛化？
• RQ3 将正常数据建模为低维流形是否能提升在多种数据类型上的一类分类泛化能力？
• RQ4 在训练过程中通过对抗方式生成异常样本，能否提升异常检测的鲁棒性与准确率？
• RQ5 在真实场景（如具有挑战性 OOD 输入的唤醒词检测）中，DROCC 相较于最先进方法表现如何？

主要发现

• DROCC 在包括 CIFAR-10、ImageNet 和语音命令在内的多个数据集上，相较于最先进方法，异常检测准确率最高提升 20%。
• 在 MNIST 0 对 1 异常检测任务中，DROCC–LF 在 3% 假阳性率下实现 99.4% 的召回率，优于 DeepSAD（90.91%）和 BCE（54%）。
• 在语音命令的 OCLN 设置下，DROCC–LF 在 3% 和 5% 假阳性率下，召回率相比基线提升约 10%，尤其在 'Marvin' 和 'Seven' 等关键词上表现更优。
• 在 10 维正弦波 + 高斯分布数据集上，DROCC–LF 正确识别出真实的 2D 流形，而标准 DROCC 因噪声影响失败，证明了学习距离函数的优势。
• DROCC–LF 对训练期间未见过的手动合成的近似负样本（如 'Mar'、'Vin'、'Marvelous'）具有良好的泛化能力，证明其对 OOD 变化具有鲁棒性。
• 该方法避免了表征坍塌，因为将所有样本映射到单一点将无法区分正常样本与对抗生成的异常样本。