[论文解读] Deep One-Class Classification via Interpolated Gaussian Descriptor

Yuanhong Chen, Yu Tian+2 more|arXiv (Cornell University)|Jan 25, 2021

Anomaly Detection Techniques and Applications被引用 13

一句话总结

该论文提出了一种新型的一类分类模型——插值高斯描述符（IGD），通过在对抗性插值样本上训练高斯异常分类器，提升了对正常性的描述能力，增强了在小样本或数据污染训练集下的鲁棒性。IGD在多种基准测试中均达到最先进性能，包括MNIST、CIFAR10、MVTec AD和医学数据集，在分布偏移条件下表现出更优的检测准确率与稳定性。

ABSTRACT

One-class classification (OCC) aims to learn an effective data description to enclose all normal training samples and detect anomalies based on the deviation from the data description. Current state-of-the-art OCC models learn a compact normality description by hyper-sphere minimisation, but they often suffer from overfitting the training data, especially when the training set is small or contaminated with anomalous samples. To address this issue, we introduce the interpolated Gaussian descriptor (IGD) method, a novel OCC model that learns a one-class Gaussian anomaly classifier trained with adversarially interpolated training samples. The Gaussian anomaly classifier differentiates the training samples based on their distance to the Gaussian centre and the standard deviation of these distances, offering the model a discriminability w.r.t. the given samples during training. The adversarial interpolation is enforced to consistently learn a smooth Gaussian descriptor, even when the training data is small or contaminated with anomalous samples. This enables our model to learn the data description based on the representative normal samples rather than fringe or anomalous samples, resulting in significantly improved normality description. In extensive experiments on diverse popular benchmarks, including MNIST, Fashion MNIST, CIFAR10, MVTec AD and two medical datasets, IGD achieves better detection accuracy than current state-of-the-art models. IGD also shows better robustness in problems with small or contaminated training sets. Code is available at https://github.com/tianyu0207/IGD.

研究动机与目标

• 解决在训练数据量小或包含异常样本时，当前最先进的一类分类（OCC）模型出现的过拟合问题。
• 通过聚焦于中心的正常样本而非边缘或异常样本，学习更鲁棒且更具代表性的正常性描述。
• 构建一个理论基础坚实的优化框架，确保正常性描述符的平滑性与泛化能力。
• 在真实场景（如数据稀缺和数据污染）下评估OCC模型的鲁棒性，这些情况在工业和医疗应用中普遍存在。

提出的方法

• IGD引入了一类基于高斯分布的异常分类器，根据样本在表征空间中与高斯中心的距离及其距离的标准差进行评分。
• 采用对抗性插值技术，在正常数据点之间生成合成训练样本，以强制学习到的正常性描述符具备平滑性。
• 通过基于概率建模推导出的期望最大化（EM）算法进行模型优化，确保收敛至驻定解。
• 引入多尺度的结构与非结构图像重建损失，进一步正则化表征空间并提升泛化能力。
• 通过约束模型学习有意义的多维正常性描述，避免训练过程坍缩为单一数据点。
• 该方法通过在插值与优化过程中强调代表性正常样本，实现对数据污染和少样本场景的鲁棒性。

实验结果

研究问题

• RQ1 对抗性插值是否能提升在小样本或污染训练集下一类分类器的鲁棒性？
• RQ2 基于高斯分布的异常分类器（结合距离与方差建模）是否在异常检测准确率上优于基于超球体的模型（如DSVDD）？
• RQ3 基于EM的插值高斯描述符优化在多大程度上提升了泛化能力并防止了过拟合？
• RQ4 IGD在图像分类、工业缺陷检测和医学影像等多样化领域中，在分布偏移条件下的表现如何？

主要发现

• 在CIFAR10数据集上，IGD在1%异常污染条件下达到0.8252的平均测试AUC，优于DSVDD（0.7502）和DSVDD+REC（0.7694）。
• 在MVTec AD数据集上，IGD在10%污染条件下达到0.9363的AUC，显著优于DSVDD（0.8175）和DSVDD+REC（0.7687）。
• 仅使用CIFAR10训练集的20%时，IGD仍保持高性能（AUC≈0.81），而DSVDD和DSVDD+REC性能急剧下降。
• 在污染条件下，IGD性能波动极小（CIFAR10最大波动1.3%，MVTec最大波动0.44%），而DSVDD分别达到7.8%和3.5%的波动。
• 在医学数据集和Hyper-Kvasir（高分辨率）上，IGD达到93.7%的AUC，优于CSI（91.6%），并在关键基准上与PANDA和DROC持平或更优。
• IGD在低数据量和污染数据场景下表现出卓越的鲁棒性，适用于现实世界中的工业与临床应用。