[论文解读] Fake It Till You Make It: Towards Accurate Near-Distribution Novelty Detection

Hossein Mirzaei, Mohammadreza Salehi+5 more|arXiv (Cornell University)|May 28, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出一种基于分数的生成模型，用于生成近分布异常数据以训练新颖性检测模型，在细微、语义相似的异常上显著提升性能。通过在这些合成的近异常数据上微调，该方法缩小了标准新颖性检测与近分布新颖性检测之间的性能差距，在包括医学影像和工业质量控制在内的多样化数据集上实现了最先进水平的AUROC分数。

ABSTRACT

We aim for image-based novelty detection. Despite considerable progress, existing models either fail or face a dramatic drop under the so-called "near-distribution" setting, where the differences between normal and anomalous samples are subtle. We first demonstrate existing methods experience up to 20% decrease in performance in the near-distribution setting. Next, we propose to exploit a score-based generative model to produce synthetic near-distribution anomalous data. Our model is then fine-tuned to distinguish such data from the normal samples. We provide a quantitative as well as qualitative evaluation of this strategy, and compare the results with a variety of GAN-based models. Effectiveness of our method for both the near-distribution and standard novelty detection is assessed through extensive experiments on datasets in diverse applications such as medical images, object classification, and quality control. This reveals that our method considerably improves over existing models, and consistently decreases the gap between the near-distribution and standard novelty detection performance. The code repository is available at https://github.com/rohban-lab/FITYMI.

研究动机与目标

• 解决最先进新颖性检测模型在面对近分布异常（与正常数据仅存在细微差异）时出现的性能显著下降问题。
• 识别出现有方法（包括SOTA模型如PANDA和CSI）在近ND设置下AUROC最高下降达20%。
• 通过采用可控且稳定的生成方法，克服基于GAN和异常暴露方法在近ND中的局限性。
• 在包括医学影像和物体分类在内的多样化领域中，实现标准和近分布新颖性检测的持续性能提升。
• 通过使用语义上接近的合成异常样本进行有效训练，缩小标准与近分布新颖性检测之间的性能差距。

提出的方法

• 利用基于分数的生成模型（SDE）通过在潜在空间中施加受控噪声扰动正常数据，生成近分布异常样本。
• 使用正常数据和生成的近异常样本对预训练的特征提取器进行微调，以提升其判别能力。
• 在特征空间中采用基于k-NN的异常评分方法进行推理，利用微调后的模型计算测试样本与训练特征之间的距离。
• 应用密度和覆盖度度量评估生成样本的质量和多样性，确保其语义上合理且具有代表性。
• 基于FID分数设置停止准则，以确保高质量生成，同时避免过拟合或模式崩溃。
• 采用两阶段训练策略：先在正常数据上预训练，再在合成近异常样本上微调，以增强对细微异常的泛化能力。

实验结果

研究问题

• RQ1 为何最先进新颖性检测模型在异常与正常数据语义接近的近分布设置下会失效？
• RQ2 当异常仅与正常样本存在细微差异时，能否通过生成合成数据来提升新颖性检测性能？
• RQ3 基于分数的生成模型在生成有效近异常样本用于训练方面，相较于GAN或异常暴露方法有何优势？
• RQ4 在合成近异常样本上微调能在多大程度上缩小标准与近分布新颖性检测之间的性能差距？
• RQ5 所提出的方法对超参数（如k-NN选择和训练停止点）是否具有鲁棒性？

主要发现

• 现有SOTA新颖性检测模型（包括PANDA和CSI）在近ND设置下相比标准ND，AUROC最高下降达20%。
• 所提方法在Weather数据集上达到97.0的AUROC，在WBC数据集上达到91.2，显著优于先前方法在近ND中的表现。
• 在MvTecAD数据集上，该方法在近ND设置下达到86.4的AUROC，优于次佳方法超过6个百分点。
• 该方法对k-NN选择和训练停止点具有鲁棒性，不同配置下的FID分数变化不超过2%。
• 该方法有效缩小了标准与近分布新颖性检测之间的性能差距，在所有评估数据集和主干模型上均表现出一致的性能提升。
• 基于分数的生成模型（SDE）能够实现稳定且高质量的近异常生成，避免了GAN中常见的模式崩溃和不稳定性问题。