[论文解读] Novelty Detection Via Blurring

Sungik Choi, Sae-Young Chung|arXiv (Cornell University)|Nov 27, 2019

Anomaly Detection Techniques and Applications参考文献 35被引用 13

一句话总结

本文提出SVD-RND，一种新颖的分布外（OOD）检测方法，通过使用奇异值分解（SVD）生成的模糊图像进行训练，从而增强随机网络蒸馏（RND）方法。通过在训练过程中将模糊数据作为对抗性样本，SVD-RND提升了对低秩OOD输入的鲁棒性，在CIFAR-10与SVHN等具有挑战性的基准测试中检测准确率超过90%，在结合几何变换时于CelebA数据集上实现了近乎完美的性能（AUROC > 0.997）。

ABSTRACT

Conventional out-of-distribution (OOD) detection schemes based on variational autoencoder or Random Network Distillation (RND) have been observed to assign lower uncertainty to the OOD than the target distribution. In this work, we discover that such conventional novelty detection schemes are also vulnerable to the blurred images. Based on the observation, we construct a novel RND-based OOD detector, SVD-RND, that utilizes blurred images during training. Our detector is simple, efficient at test time, and outperforms baseline OOD detectors in various domains. Further results show that SVD-RND learns better target distribution representation than the baseline RND algorithm. Finally, SVD-RND combined with geometric transform achieves near-perfect detection accuracy on the CelebA dataset.

研究动机与目标

• 解决传统OOD检测器对模糊、低秩图像的脆弱性，这些图像常被误分类为分布内样本。
• 通过将模糊数据作为对抗性训练样本，提升基于RND的OOD检测器的鲁棒性。
• 开发一种简单、高效且自监督的方法，无需外部OOD数据或验证集。
• 通过暴露模型于不同有效秩的数据，增强目标分布的表征学习能力。

提出的方法

• SVD-RND是一种基于RND的OOD检测器，通过训练预测网络来区分原始图像与其SVD模糊版本。
• 模糊图像通过截断输入图像SVD分解中的奇异值生成，保留的分量数量可调节以改变有效秩。
• 训练目标最小化在模糊图像上的预测误差，促使网络学习对低秩退化具有不变性的鲁棒表征。
• 采用在目标对数有效秩范围内的均匀采样策略，生成多样化的模糊程度，提升泛化能力。
• SVD-RND通过结合几何变换（旋转、垂直平移）进一步增强，形成SVD-ROT-RND和SVD-VER-RND。
• 该方法为自监督方法，无需标注的OOD数据或用于超参数调优的验证集。

实验结果

研究问题

• RQ1 通过SVD生成的模糊图像能否作为有效的对抗性样本，暴露标准OOD检测模型的弱点？
• RQ2 在模糊图像上训练基于RND的检测器是否能提升其对低秩分布中OOD样本的检测能力？
• RQ3 SVD-RND是否能在无需外部OOD数据或验证集用于超参数调优的情况下实现最先进性能？
• RQ4 SVD-RND在CIFAR-10与SVHN、ImageNet与CIFAR-10等具有挑战性的基准测试中与基线OOD检测器相比表现如何？
• RQ5 将SVD-RND与几何数据增强结合是否能进一步提升OOD检测性能？

主要发现

• 在CIFAR-10与SVHN上，SVD-RND的AUROC达到0.967；在TinyImageNet与SVHN上达到0.993，显著优于基线RND及其他方法。
• 在CelebA数据集上，SVD-ROT-RND的AUROC达到0.997，展现出近乎完美的OOD检测性能。
• 即使无法访问验证OOD数据，SVD-RND采用均匀模糊程度调度的版本性能仍可媲美经优化的版本。
• 将SVD-RND与旋转和平移（SVD-ROT-RND、SVD-VER-RND）结合，相比独立的SVD-RND有显著性能提升。
• SVD-RND学习到的目标分布表征优于标准RND，表现为泛化能力和鲁棒性的提升。
• 该方法在以往具有挑战性的基准测试（如CIFAR-10与SVHN）中实现了超过90%的检测准确率，而基线方法的准确率仅为约50%。