[论文解读] CAINNFlow: Convolutional block Attention modules and Invertible Neural Networks Flow for anomaly detection and localization tasks

Ruiqing Yan, Fan Zhang+8 more|arXiv (Cornell University)|Jun 4, 2022

Anomaly Detection Techniques and Applications被引用 5

一句话总结

CAINNFlow 提出一种即插即用的架构，将卷积块注意力模块（CBAM）集成到可逆归一化流中，以在无监督异常检测与定位过程中保留空间结构。通过用堆叠的3×3卷积（经CBAM增强）替代标准多层感知机，该方法在使用CNN和Transformer主干网络时，于MVTec AD数据集上实现了98.64%的像素级AUC。

ABSTRACT

Detection of object anomalies is crucial in industrial processes, but unsupervised anomaly detection and localization is particularly important due to the difficulty of obtaining a large number of defective samples and the unpredictable types of anomalies in real life. Among the existing unsupervised anomaly detection and localization methods, the NF-based scheme has achieved better results. However, the two subnets (complex functions) $s_{i}(u_{i})$ and $t_{i}(u_{i})$ in NF are usually multilayer perceptrons, which need to squeeze the input visual features from 2D flattening to 1D, destroying the spatial location relationship in the feature map and losing the spatial structure information. In order to retain and effectively extract spatial structure information, we design in this study a complex function model with alternating CBAM embedded in a stacked $3 imes3$ full convolution, which is able to retain and effectively extract spatial structure information in the normalized flow model. Extensive experimental results on the MVTec AD dataset show that CAINNFlow achieves advanced levels of accuracy and inference efficiency based on CNN and Transformer backbone networks as feature extractors, and CAINNFlow achieves a pixel-level AUC of $98.64\%$ for anomaly detection in MVTec AD.

研究动机与目标

• 解决归一化流在将2D特征图展平为1D向量时破坏空间结构的局限性。
• 通过在特征表示中保留空间关系，提升无监督异常检测与定位性能。
• 开发一种与任意主干网络（CNN或Transformer）兼容的即插即用模块，实现灵活部署。
• 通过关注显著的空间与通道特征的注意力机制，增强特征表示学习。
• 在MVTec AD基准测试中，实现准确率与推理效率的最先进性能。

提出的方法

• 使用堆叠的3×3全卷积层设计归一化流中的复杂函数，以保持2D空间结构。
• 在流架构中集成CBAM模块，动态强调重要的空间与通道特征。
• 将归一化流中标准的多层感知机替换为经CBAM增强的卷积模块，以保留空间信息。
• 利用可逆神经网络（INNs）对正常样本特征执行双射变换，映射到标准高斯分布。
• 采用双向流：前向传播将特征映射到正态分布；反向传播实现重建与异常可视化。
• 仅使用正常图像端到端训练模型，通过似然估计检测异常，依据分布偏离程度判断。

实验结果

研究问题

• RQ1 在执行分布变换时，归一化流架构能否保留2D特征图中的空间结构？
• RQ2 将CBAM集成到流的复杂函数中，相比标准MLP，能否显著提升异常检测性能？
• RQ3 CAC模块的最优配置（如步骤数）为何？如何在性能与效率之间取得平衡？
• RQ4 CAINNFlow能否在轻量级主干网络（如ResNet18）上实现最先进性能？
• RQ5 CAINNFlow的反向过程在通过噪声注入与重建实现异常可视化与定位方面，其效果如何？

主要发现

• CAINNFlow在MVTec AD数据集上实现了98.64%的像素级AUC，证明其在异常检测方面达到最先进性能。
• CAC模块结构在12项评估指标中的12项上优于CA与AC模块，证实其在空间特征提取方面的有效性。
• 将CAC模块中的步骤数设为2时性能最优，进一步增加步骤数反而导致性能下降。
• 即使使用ResNet18作为主干网络，CAINNFlow仍能实现高精度，表明其在轻量级模型上具有优异的效率与兼容性。
• 定性结果表明，反向过程能成功重建正常特征，并在引入噪声时有效突出异常区域。
• 特征可视化结果表明，前向传播将正常特征映射为分布均匀的标准高斯分布，而异常输入则显著偏离该分布。