[论文解读] Discriminative-Generative Representation Learning for One-Class Anomaly Detection

Xuan Xia, Xizhou Pan+4 more|arXiv (Cornell University)|Jul 27, 2021

Anomaly Detection Techniques and Applications参考文献 50被引用 5

一句话总结

本文提出DGAD，一种基于GAN的一类异常检测新方法，通过利用判别器指导掩码任务来增强生成器的表征学习，避免了像素级重建。该方法在性能上接近判别式方法的同时显著提升了速度，在CIFAR-10上优于SOTA GAN基线6%，在MVTAD上优于2%，消融研究揭示了绝对位置信息对表征学习具有上下文依赖性影响。

ABSTRACT

As a kind of generative self-supervised learning methods, generative adversarial nets have been widely studied in the field of anomaly detection. However, the representation learning ability of the generator is limited since it pays too much attention to pixel-level details, and generator is difficult to learn abstract semantic representations from label prediction pretext tasks as effective as discriminator. In order to improve the representation learning ability of generator, we propose a self-supervised learning framework combining generative methods and discriminative methods. The generator no longer learns representation by reconstruction error, but the guidance of discriminator, and could benefit from pretext tasks designed for discriminative methods. Our discriminative-generative representation learning method has performance close to discriminative methods and has a great advantage in speed. Our method used in one-class anomaly detection task significantly outperforms several state-of-the-arts on multiple benchmark data sets, increases the performance of the top-performing GAN-based baseline by 6% on CIFAR-10 and 2% on MVTAD.

研究动机与目标

• 为解决GAN生成器表征学习能力有限的问题，其常过度拟合像素级重建，难以学习抽象语义特征。
• 通过重用判别器作为预测器，将生成与判别自监督学习相结合，以指导生成器从掩码任务中学习。
• 在不依赖复杂后处理的前提下，提升一类异常检测性能，同时保持高推理速度。
• 探究在不同几何变换掩码任务下，绝对位置信息对生成与判别组件表征学习的影响。

提出的方法

• 通过判别器引导生成器，使其生成与几何变换掩码任务标签匹配的样本，以替代像素级重建作为主要学习信号。
• 判别器作为掩码任务（如旋转或裁剪分类）的预测器，使生成器通过分类信号学习抽象语义表征。
• 通过生成器输出的重建损失计算异常分数，相比需要Dirichlet分数或归一化的判别式方法，保持了更高的简洁性与速度。
• 框架采用对称填充，避免使用坐标卷积，以防止绝对位置信息干扰，实验证明该信息会降低生成表征学习性能。
• 在两种协议下进行评估：一种仅使用重建损失，另一种同时使用重建损失与Dirichlet分数，且对紧凑性损失与位置编码进行消融分析。
• 进行速度对比，以证明基于重建的评分相比判别式后处理具有计算优势。

实验结果

研究问题

• RQ1 如何增强生成模型（如GAN）以学习更鲁棒、更抽象的语义表征，用于一类异常检测？
• RQ2 绝对位置信息对自监督几何变换任务中生成与判别组件表征学习能力有何影响？
• RQ3 混合判别-生成框架能否在保持更快推理速度的同时，实现与纯判别方法相当的性能？
• RQ4 与传统像素级重建相比，判别器引导的表征学习在异常检测AUC方面表现如何？

主要发现

• DGAD在CIFAR-10上将性能最优的GAN基线提升6%，在MVTAD上提升2%，证明其在一类异常检测中具有显著增益。
• 与仅使用重建损失的基线GAN相比，采用判别器引导表征学习使AUC提升5.4–7.5%。
• 缺少紧凑性损失会使性能下降2–2.9%，证实其在稳定表征学习中的关键作用。
• 绝对位置信息会降低生成器在几何变换任务中学习语义表征的能力，使用零填充或coordconv会使性能下降1–2%。
• 相反，绝对位置信息可提升判别器的分类准确率，但该优势无法传递至生成器，表明其影响具有任务依赖性。
• 基于重建的异常评分（s_rec）比基于Dirichlet分数的方法（s_dir）快3.6至8.5倍，且s_rec在性能上可与s_dir媲美，同时效率显著更高。