[论文解读] Generalizable Industrial Visual Anomaly Detection with Self-Induction Vision Transformer

Haiming Yao, Yu, Wenyong|arXiv (Cornell University)|Nov 22, 2022

Anomaly Detection Techniques and Applications被引用 9

一句话总结

该论文提出了一种自归纳视觉Transformer（SIVT），用于实现可泛化的、多类别工业视觉异常检测。通过利用预训练的CNN进行局部特征提取，并在视觉Transformer中引入一种新颖的自归纳机制，利用辅助归纳标记重建特征，SIVT实现了最先进性能，在Mvtec AD基准上AUROC提升2.8–6.3，AP提升3.3–7.6。

ABSTRACT

Industrial vision anomaly detection plays a critical role in the advanced intelligent manufacturing process, while some limitations still need to be addressed under such a context. First, existing reconstruction-based methods struggle with the identity mapping of trivial shortcuts where the reconstruction error gap is legible between the normal and abnormal samples, leading to inferior detection capabilities. Then, the previous studies mainly concentrated on the convolutional neural network (CNN) models that capture the local semantics of objects and neglect the global context, also resulting in inferior performance. Moreover, existing studies follow the individual learning fashion where the detection models are only capable of one category of the product while the generalizable detection for multiple categories has not been explored. To tackle the above limitations, we proposed a self-induction vision Transformer(SIVT) for unsupervised generalizable multi-category industrial visual anomaly detection and localization. The proposed SIVT first extracts discriminatory features from pre-trained CNN as property descriptors. Then, the self-induction vision Transformer is proposed to reconstruct the extracted features in a self-supervisory fashion, where the auxiliary induction tokens are additionally introduced to induct the semantics of the original signal. Finally, the abnormal properties can be detected using the semantic feature residual difference. We experimented with the SIVT on existing Mvtec AD benchmarks, the results reveal that the proposed method can advance state-of-the-art detection performance with an improvement of 2.8-6.3 in AUROC, and 3.3-7.6 in AP.

研究动机与目标

• 解决基于重建方法在工业视觉异常检测中的局限性，特别是正常与异常样本之间重建误差差距微小的“身份映射问题”。
• 通过在视觉Transformer中引入全局上下文建模，克服CNN的局部感受野限制。
• 实现在多个产品类别上的可泛化异常检测，突破单一类别学习范式。
• 开发一种自监督重建框架，以提升特征重建保真度和异常定位精度。
• 提出一种新颖的自归纳机制，利用辅助标记引导语义重建，防止特征重建中的平凡捷径。

提出的方法

• 采用预训练的CNN作为特征提取主干网络，从输入图像中生成高语义的深层特征图。
• 提出一种自归纳视觉Transformer（SIVT），通过辅助归纳标记重建提取的特征，以建模全局语义。
• 将辅助归纳序列分解为N个不相交子集（N=4），以从特征图块子集中诱导互补语义。
• 采用基于图块的特征嵌入，P=2，以降低计算成本，同时保持重建精度。
• 仅使用正常样本的重建损失进行自监督训练，无需异常标签。
• 通过计算原始特征与重建特征之间的语义特征残差差异来检测异常。

实验结果

研究问题

• RQ1 与特定类别模型相比，混合CNN-Transformer框架是否能提升多类别工业视觉异常检测的泛化能力？
• RQ2 在视觉Transformer中引入辅助归纳标记是否能有效防止异常检测中的平凡重建捷径？
• RQ3 归纳子集数量（N）如何影响自归纳机制的性能与效率？
• RQ4 何种图块大小（P）能实现重建精度与计算效率的最佳平衡？
• RQ5 与原始Transformer-based重建方法相比，自归纳机制在AUROC和AP方面提升程度如何？

主要发现

• SIVT框架在Mvtec AD基准上达到最先进性能，相比先前方法AUROC提升2.8–6.3点，AP提升3.3–7.6点。
• 自归纳机制显著降低了异常样本的重建误差，相比原始Transformer，图像级AUROC提升12.0，像素级AUROC提升6.8。
• 相比原始Transformer基线，自归纳机制使图像级AP提升6.2，像素级AP提升20.5。
• 将归纳子集数量（N）设为4时，在性能与计算成本之间达到最佳平衡，性能在N=4时达到峰值，N更大时性能下降。
• 图块大小（P）为2时，在重建精度与效率之间实现最优平衡，当P超过4时性能急剧下降。
• SIVT模型在多个产品类别间表现出卓越泛化能力，无需为每类重新训练即可实现跨类别异常检测。