[论文解读] Industrial Anomaly Detection and Localization Using Weakly-Supervised Residual Transformers

Hanxi Li, Jingqi Wu+5 more|arXiv (Cornell University)|Jun 6, 2023

Anomaly Detection Techniques and Applications被引用 4

一句话总结

该论文提出SemiREST，一种弱监督异常检测与定位框架，通过使用带有位置约束的块分类与补丁匹配残差，并结合滑动视觉Transformer，在MVTec-AD上实现了最先进性能，同时显著降低了标注成本。其在无监督设置下达到81.2% AP，在有监督设置下达到84.4% AP，即使仅使用边界框标注，也超越了完全监督的最先进方法。

ABSTRACT

Recent advancements in industrial anomaly detection (AD) have demonstrated that incorporating a small number of anomalous samples during training can significantly enhance accuracy. However, this improvement often comes at the cost of extensive annotation efforts, which are impractical for many real-world applications. In this paper, we introduce a novel framework, Weak}ly-supervised RESidual Transformer (WeakREST), designed to achieve high anomaly detection accuracy while minimizing the reliance on manual annotations. First, we reformulate the pixel-wise anomaly localization task into a block-wise classification problem. Second, we introduce a residual-based feature representation called Positional Fast Anomaly Residuals (PosFAR) which captures anomalous patterns more effectively. To leverage this feature, we adapt the Swin Transformer for enhanced anomaly detection and localization. Additionally, we propose a weak annotation approach, utilizing bounding boxes and image tags to define anomalous regions. This approach establishes a semi-supervised learning context that reduces the dependency on precise pixel-level labels. To further improve the learning process, we develop a novel ResMixMatch algorithm, capable of handling the interplay between weak labels and residual-based representations. On the benchmark dataset MVTec-AD, our method achieves an Average Precision (AP) of $83.0\%$, surpassing the previous best result of $82.7\%$ in the unsupervised setting. In the supervised AD setting, WeakREST attains an AP of $87.6\%$, outperforming the previous best of $86.0\%$. Notably, even when using weaker annotations such as bounding boxes, WeakREST exceeds the performance of leading methods relying on pixel-wise supervision, achieving an AP of $87.1\%$ compared to the prior best of $86.0\%$ on MVTec-AD.

研究动机与目标

• 解决工业异常检测中的高标注成本问题，同时保持或提升检测精度。
• 通过将异常定位重新定义为块分类问题，减少对像素级分割的依赖。
• 仅使用异常区域的边界框标注，实现有效的半监督学习。
• 开发一种新型半监督学习方案，有效利用弱标签中的未标注区域。
• 在MVTec-AD、BTAD和KSDD2上实现最小监督下的最先进性能。

提出的方法

• 位置约束的补丁匹配（PCF）机制在测试与参考补丁之间生成残差，保留空间对齐性，以增强对异常的敏感性。
• 将异常检测任务重新定义为块级二分类问题，每个块被标记为正常、正样本（异常）或忽略（未标注），从而降低标注负担。
• 滑动视觉Transformer（Swin Transformer）处理这些块级特征，以高空间精度预测异常分数。
• 在多个Swin Transformer头之间采用袋装策略，提升预测流程中的鲁棒性与泛化能力。
• 采用定制化的基于MixMatch的半监督学习方案，利用边界框标注中的未标注区域，引入两种新型数据增强技术：基于K-NN的增强与随机丢弃。
• 在无监督和半监督设置中，使用残差上的平方距离函数进行更好的特征选择；当存在真实异常时，则使用绝对差。

实验结果

研究问题

• RQ1 块分类是否能在不牺牲精度的前提下降低异常检测的标注成本？
• RQ2 滑动视觉Transformer是否能仅通过位置约束补丁匹配的残差有效定位异常？
• RQ3 使用边界框标注的半监督学习是否能达到与全监督相当的性能？
• RQ4 定制化的MixMatch方案是否能有效利用弱监督异常检测中的未标注区域？
• RQ5 所提方法是否能在无监督与半监督设置下均超越现有最先进方法？

主要发现

• 在无监督设置下，SemiREST在MVTec-AD上达到81.2%平均精度（AP），超越此前最先进方法的75.8% AP。
• 在全监督设置下，SemiREST达到84.4% AP，超过此前最先进方法的78.6% AP。
• 仅使用边界框标注时，SemiREST达到83.8% AP，优于此前使用全像素级监督的最先进方法（78.6% AP）。
• 该方法在三个基准数据集（MVTec-AD、BTAD和KSDD2）上均保持强劲性能，展现出良好的泛化能力。
• 消融实验表明，PCF、袋装、K-NN增强、MixMatch和随机丢弃等各组件均对性能提升有贡献。
• 由于其特征选择特性，平方距离函数在无监督与半监督设置中优于绝对差。