[论文解读] Metamorphic Testing for Object Detection Systems

Shuai Wang, Zhendong Su|arXiv (Cornell University)|Dec 19, 2019

Advanced Neural Network Applications参考文献 78被引用 17

一句话总结

该论文提出了MetaOD，这是首个用于目标检测系统的元测试（metamorphic testing）框架，通过将物体插入背景图像中生成逼真的合成图像，并检查原始图像与修改后图像之间检测结果的一致性。该方法在商业检测器中发现了数以万计的缺陷，并通过使用触发失败的合成数据进行再训练，将模型的mAP从9.3提升至10.5。

ABSTRACT

Recent advances in deep neural networks (DNNs) have led to object detectors that can rapidly process pictures or videos, and recognize the objects that they contain. Despite the promising progress by industrial manufacturers such as Amazon and Google in commercializing deep learning-based object detection as a standard computer vision service, object detection systems - similar to traditional software - may still produce incorrect results. These errors, in turn, can lead to severe negative outcomes for the users of these object detection systems. For instance, an autonomous driving system that fails to detect pedestrians can cause accidents or even fatalities. However, principled, systematic methods for testing object detection systems do not yet exist, despite their importance. To fill this critical gap, we introduce the design and realization of MetaOD, the first metamorphic testing system for object detectors to effectively reveal erroneous detection results by commercial object detectors. To this end, we (1) synthesize natural-looking images by inserting extra object instances into background images, and (2) design metamorphic conditions asserting the equivalence of object detection results between the original and synthetic images after excluding the prediction results on the inserted objects. MetaOD is designed as a streamlined workflow that performs object extraction, selection, and insertion. Evaluated on four commercial object detection services and four pretrained models provided by the TensorFlow API, MetaOD found tens of thousands of detection defects in these object detectors. To further demonstrate the practical usage of MetaOD, we use the synthetic images that cause erroneous detection results to retrain the model. Our results show that the model performance is increased significantly, from an mAP score of 9.3 to an mAP score of 10.5.

研究动机与目标

• 为解决基于深度学习的目标检测系统缺乏系统性测试方法的问题，此类问题可能在自动驾驶等应用中引发严重安全风险。
• 开发一种实用的黑盒测试方法，无需访问模型内部结构即可揭示错误的检测结果。
• 生成多样化且逼真的合成图像，同时保持全局和局部的真实感，以有效触发边缘情况下的预测失败。
• 证明可暴露缺陷的合成图像可用于模型再训练，从而提升其鲁棒性和准确性。
• 基于元测试原则，建立一种新颖且可复用的测试流水线，适用于商业及预训练目标检测器。

提出的方法

• 利用实例分割技术从背景图像中提取高质量物体样本，将物体实例插入背景图像，生成逼真的合成图像。
• 应用轻量级、领域感知的标准，基于视觉和上下文兼容性选择并优化物体。
• 采用受delta调试启发的启发式方法，识别最可能触发检测错误的插入位置，同时保持图像的真实感。
• 定义元测试条件，即原始物体在原始图像与合成图像中的检测结果应保持一致（不包括对插入物体的预测）。
• 自动化三阶段工作流：物体提取、优化/选择、上下文感知插入，以生成多样化的测试输入。
• 利用检测到的不一致性作为故障预言机，识别商业及开源目标检测器中的缺陷行为。

实验结果

研究问题

• RQ1 在缺乏测试预言机的商业目标检测系统中，元测试能否有效检测缺陷？
• RQ2 如何生成合成图像，以同时保持插入物体的局部真实感和整体场景的一致性，从而触发有意义的错误？
• RQ3 可暴露检测缺陷的合成图像在多大程度上可用于通过再训练提升模型鲁棒性？
• RQ4 在物体选择与插入过程中，哪些关键因素最能最大化检测器对边缘情况失败的发现能力？
• RQ5 与现有深度学习系统测试技术相比，所提出方法在缺陷检测能力上表现如何？

主要发现

• MetaOD在四个商业目标检测服务（Amazon、Google、IBM、Microsoft）和四个TensorFlow API模型中检测到数以万计的错误检测结果。
• 该框架成功识别了真实系统中的缺陷，包括在低对比度或遮挡等具有挑战性的视觉条件下未能检测到物体的情况。
• 使用触发检测错误的合成图像对模型进行再训练，使其平均平均精度（mAP）从9.3提升至10.5，证明了故障感知再训练的有效性。
• MetaOD生成的合成图像保持了高水平的真实感，能够检测到标准数据增强技术常忽略的细微、上下文敏感型错误。
• 元测试方法在黑盒环境下同样有效，无需访问模型权重或内部架构。
• 该方法轻量、模块化，可实现可扩展且可重复的商业目标检测系统测试，无需进行领域特定的微调。