[论文解读] A Survey on Visual Anomaly Detection: Challenge, Approach, and Prospect

Yunkang Cao, Xiaohao Xu+5 more|arXiv (Cornell University)|Jan 29, 2024

Anomaly Detection Techniques and Applications被引用 9

一句话总结

本综述通过将三个主要挑战——数据稀缺、多样模态和层次化异常——纳入框架来分析视觉异常检测（VAD），并回顾在样本数量、模态以及异常层级上的进展，最后给出未来方向。

ABSTRACT

Visual Anomaly Detection (VAD) endeavors to pinpoint deviations from the concept of normality in visual data, widely applied across diverse domains, e.g., industrial defect inspection, and medical lesion detection. This survey comprehensively examines recent advancements in VAD by identifying three primary challenges: 1) scarcity of training data, 2) diversity of visual modalities, and 3) complexity of hierarchical anomalies. Starting with a brief overview of the VAD background and its generic concept definitions, we progressively categorize, emphasize, and discuss the latest VAD progress from the perspective of sample number, data modality, and anomaly hierarchy. Through an in-depth analysis of the VAD field, we finally summarize future developments for VAD and conclude the key findings and contributions of this survey.

研究动机与目标

• 确定视觉异常检测（VAD）中的关键挑战及其对模型设计的影响。
• 调查当前在样本数量设置、数据模态和异常层级方面的 VAD 进展。
• 总结数据集、指标以及具有代表性的方法，为工业环境中的未来 VAD 研究提供指南。
• 提出未来方向，包括通用 VAD 框架、基础模型前景，以及多模态/整体 VAD。

提出的方法

• 将 VAD 方法按样本数量分类（半监督、无监督、少样本、零样本），并讨论缓解过拟合和边界泛化的策略。
• 将 VAD 按成像模态分类（2D RGB、3D 点云、多模态），并分析跨模态的预训练模型的优点/局限性。
• 将 VAD 按异常层级（结构性 vs 语义性）拆分，并评述针对局部结构模式与实体之间关系的方法。
• 回顾数据集（例如 MVTec AD、MVTec 3D、MVTec LOCO、VisA）与用于评估 VAD 的指标（AUROC、AUPRO）。
• 突出新兴趋势与差距，以促使 VAD 的未来研究方向。

实验结果

研究问题

• RQ1 在现实任务中，阻碍有效视觉异常检测的主要挑战是什么？
• RQ2 VAD 方法如何在样本数量设置、数据模态和异常层级上差异化？
• RQ3 哪些数据集与评估指标最好地体现工业 VAD 的进展，尚存何种差距？
• RQ4 包括基础模型与多模态 VAD 在内的哪些未来方向最有利于泛化和可扩展性。

主要发现

• VAD 的进展通过三种视角分析：样本数量、数据模态和异常层级。
• 工业 VAD 推动了大部分进展，语义异常与结构性异常并行受到关注。
• 无监督 VAD 利用正常数据分布建模、记忆库、重建、蒸馏和基于流的等方法。
• 少样本和零样本 VAD 强调特征可描述性、记忆或外部知识（例如基于 CLIP 的方法）。
• 3D VAD 正在发展中，但由于缺乏更鲁棒的预训练 3D 模型，仍落后于基于 RGB 的方法。
• 多模态方法旨在融合 RGB、3D 及其他模态以提升检测性能。