[论文解读] EasyNet: An Easy Network for 3D Industrial Anomaly Detection

Ruitao Chen, Guoyang Xie+5 more|arXiv (Cornell University)|Jul 26, 2023

Anomaly Detection Techniques and ApplicationsComputer Science被引用 3

一句话总结

EasyNet 提出了一种轻量级、易于部署的3D工业异常检测网络，消除了对大型预训练模型和记忆库的依赖。通过使用多尺度、多模态重建与分割网络，并结合基于注意力的信息熵融合模块，其在 MVTec 3D-AD 上实现了 92.6% 的 I-AUROC，且在 Tesla V100 上达到 94.55 FPS 的推理速度，优于先前方法在准确率与实时效率方面的表现。

ABSTRACT

3D anomaly detection is an emerging and vital computer vision task in industrial manufacturing (IM). Recently many advanced algorithms have been published, but most of them cannot meet the needs of IM. There are several disadvantages: i) difficult to deploy on production lines since their algorithms heavily rely on large pre-trained models; ii) hugely increase storage overhead due to overuse of memory banks; iii) the inference speed cannot be achieved in real-time. To overcome these issues, we propose an easy and deployment-friendly network (called EasyNet) without using pre-trained models and memory banks: firstly, we design a multi-scale multi-modality feature encoder-decoder to accurately reconstruct the segmentation maps of anomalous regions and encourage the interaction between RGB images and depth images; secondly, we adopt a multi-modality anomaly segmentation network to achieve a precise anomaly map; thirdly, we propose an attention-based information entropy fusion module for feature fusion during inference, making it suitable for real-time deployment. Extensive experiments show that EasyNet achieves an anomaly detection AUROC of 92.6% without using pre-trained models and memory banks. In addition, EasyNet is faster than existing methods, with a high frame rate of 94.55 FPS on a Tesla V100 GPU.

研究动机与目标

• 解决工业制造（IM）环境中对实时、可部署的3D异常检测的迫切需求。
• 克服现有方法依赖大型预训练模型或记忆库所带来的局限，这些局限会阻碍实时部署并增加存储成本。
• 开发一种轻量级、无监督的3D异常检测框架，有效融合RGB与深度信息以提升检测准确率。
• 在不牺牲性能的前提下实现高推理速度，使其适用于产线实际应用。

提出的方法

• 提出多模态重建网络（MRN），利用多尺度特征合成异常并重建输入的RGB与深度图像，以保留非异常区域。
• 采用多模态分割网络（MSN）通过融合来自两种模态的重建与原始特征，生成精确的异常图。
• 引入基于注意力的信息熵融合模块，在推理过程中动态选择具有信息量的深度特征，减少噪声并提升融合效率。
• 使用自注意力机制计算模态选择的熵得分，实现自适应融合，从而在保持速度的同时增强性能。
• 设计网络架构以避免使用记忆库和预训练模型，确保低存储开销与快速推理。
• 在多层特征上优化融合策略，消融实验表明两层融合可达到最佳性能。

实验结果

研究问题

• RQ1 能否在不依赖大型预训练模型或记忆库的前提下，使3D异常检测模型实现高准确率？
• RQ2 如何有效融合RGB与深度特征以提升异常检测性能，同时最小化无关模态带来的噪声？
• RQ3 在多模态重建框架中，用于异常分割的最优特征层数量是多少？
• RQ4 能否通过轻量级端到端网络实现适合工业产线的实时推理速度？

主要发现

• EasyNet 在 MVTec 3D-AD 基准上达到 92.6% 的 I-AUROC，在 Eyescandies 上达到 86.9%，在不使用预训练模型或记忆库的前提下，优于当前最先进方法的准确率。
• 该模型在 Tesla V100 GPU 上实现了高达 94.55 FPS 的推理速度，较 AST 提升 125%，较 M3DM 提升 93,900%。
• 消融实验表明，MSN 中使用两层特征可获得最佳性能，而使用三层则因过度去除异常特征而导致性能下降。
• 基于注意力的信息熵融合模块通过选择性地融合具有信息量的深度特征，减少了误报，提升了检测效果，尤其在电缆接头和桃子等软质材料等异常上表现突出。
• 该方法对自然图像与工业图像之间的域差距具有鲁棒性，在多种工业数据集上均保持高性能。
• 所提出的架构是现有3D-AD方法中速度最快的，使其在工业场景中实时部署方面具有独特优势。