[论文解读] PAD: A Dataset and Benchmark for Pose-agnostic Anomaly Detection

Qiang Zhou, Weize Li+5 more|arXiv (Cornell University)|Oct 11, 2023

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出了PAD，一个新颖的、与姿态无关的异常检测基准和数据集（MAD），包含20种复杂的乐高玩具，涵盖11,000多张多姿态RGB图像，并在仿真和真实环境中包含像素级精确的异常。该研究提出OmniposeAD，一种基于NeRF的方法，能够从多种姿态重建正常物体视图，在未见过的视角下检测异常方面优于现有方法，展现出对稀疏训练数据的鲁棒性，并在基线重建模型上实现了更好的泛化能力。

ABSTRACT

Object anomaly detection is an important problem in the field of machine vision and has seen remarkable progress recently. However, two significant challenges hinder its research and application. First, existing datasets lack comprehensive visual information from various pose angles. They usually have an unrealistic assumption that the anomaly-free training dataset is pose-aligned, and the testing samples have the same pose as the training data. However, in practice, anomaly may exist in any regions on a object, the training and query samples may have different poses, calling for the study on pose-agnostic anomaly detection. Second, the absence of a consensus on experimental protocols for pose-agnostic anomaly detection leads to unfair comparisons of different methods, hindering the research on pose-agnostic anomaly detection. To address these issues, we develop Multi-pose Anomaly Detection (MAD) dataset and Pose-agnostic Anomaly Detection (PAD) benchmark, which takes the first step to address the pose-agnostic anomaly detection problem. Specifically, we build MAD using 20 complex-shaped LEGO toys including 4K views with various poses, and high-quality and diverse 3D anomalies in both simulated and real environments. Additionally, we propose a novel method OmniposeAD, trained using MAD, specifically designed for pose-agnostic anomaly detection. Through comprehensive evaluations, we demonstrate the relevance of our dataset and method. Furthermore, we provide an open-source benchmark library, including dataset and baseline methods that cover 8 anomaly detection paradigms, to facilitate future research and application in this domain. Code, data, and models are publicly available at https://github.com/EricLee0224/PAD.

研究动机与目标

• 为解决在真实条件下缺乏全面、多姿态的物体异常检测数据集的问题。
• 克服现有数据集和基准中姿态对齐假设的局限性。
• 建立一个标准化基准，用于评估与姿态无关的异常检测方法。
• 开发一种能够从任意视角（包括未见过的姿态）检测异常的方法。
• 提供数据集、代码和基线模型的开源访问，以加速该领域的研究。

提出的方法

• 使用20种多样化的乐高玩具构建了多姿态异常检测（MAD）数据集，包含11,000多张高分辨率RGB图像，覆盖多种姿态。
• 在仿真（MAD-Sim）和真实世界（MAD-Real）环境中生成三类异常——纹理、形状和复合型异常，并提供精确的像素级标注。
• 提出OmniposeAD，一种新颖方法，利用神经辐射场（NeRF）从多视角输入隐式表示正常物体的几何结构和外观。
• 训练OmniposeAD以从多样化姿态中重建一个标准的正常参考视图，并将其与查询图像进行比较以检测异常。
• 使用自监督重建损失学习在不同视角下形状与纹理的解耦表征。
• 在MAD基准上，使用10种SOTA基线方法评估8种异常检测范式，并对数据稀疏性和属性相关性进行消融研究。

实验结果

研究问题

• RQ1 物体属性复杂度（如形状结构和色彩对比度）如何影响与姿态无关的异常检测模型的性能？
• RQ2 基于NeRF的方法是否能在无显式姿态监督的情况下泛化至未见过的物体姿态中的异常检测？
• RQ3 当在与姿态无关的条件下测试时，现有异常检测方法的性能相较于姿态对齐设置下的表现如何下降？
• RQ4 稀疏训练视角对与姿态无关的异常检测模型的鲁棒性和准确性有何影响？
• RQ5 当前评估指标在检测未见过姿态中的异常时，与视觉直觉的契合程度如何？

主要发现

• OmniposeAD在MAD基准上实现了最先进性能，优于所有10种基线方法，在图像级和像素级异常检测中均表现更优。
• 该方法对稀疏训练数据表现出强鲁棒性，当训练数据从100张视图减少到50张时，像素级性能仅出现轻微下降。
• 在稀疏数据条件下，图像级性能下降更为显著，表明整体全局特征对视角稀缺的敏感性高于局部纹理一致性。
• Cutpaste对色彩对比度敏感，但对形状复杂度不敏感，揭示了不同方法在属性泛化能力上的性能差距。
• 可视化结果表明，FAVAE无法准确重建未见过的姿态，提示当前指标可能未能完全反映PAD设置下真实世界检测的可靠性。
• 发现形状复杂度与检测性能之间存在强烈负相关性，而色彩对比度则呈现正相关性，验证了关于异常可检测性的直观预期。