[论文解读] A Systematic Framework for Natural Perturbations from Videos

Vaishaal Shankar, Achal Dave+4 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 5被引用 29

一句话总结

本文提出了一套系统性框架，用于评估深度学习模型在从视频帧中提取的自然图像扰动下的鲁棒性。基于一个由人类标注的、包含22,178张感知上相似图像的ImageNet Video数据集，研究发现，最先进分类器在自然扰动下中位数准确率下降16%，目标检测器中位数mAP下降14个百分点，凸显了在实际部署中存在关键的鲁棒性缺陷。

ABSTRACT

We introduce a systematic framework for quantifying the robustness of classifiers to naturally occurring perturbations of images found in videos. As part of this framework, we construct Imagenet-Video-Robust, a human-expert--reviewed dataset of 22,178 images grouped into 1,109 sets of perceptually similar images derived from frames in the ImageNet Video Object Detection dataset. We evaluate a diverse array of classifiers trained on ImageNet, including models trained for robustness, and show a median classification accuracy drop of 16%. Additionally, we evaluate the Faster R-CNN and R-FCN models for detection, and show that natural perturbations induce both classification as well as localization errors, leading to a median drop in detection mAP of 14 points. Our analysis shows that natural perturbations in the real world are heavily problematic for current CNNs, posing a significant challenge to their deployment in safety-critical environments that require reliable, low-latency predictions.

研究动机与目标

• 为解决深度神经网络在视频数据中自然发生的图像扰动下缺乏系统性评估的问题。
• 量化ImageNet训练的分类器在暴露于视频序列中的真实世界视觉变化时的鲁棒性退化程度。
• 评估自然扰动对目标检测模型的影响，包括分类错误和定位错误。
• 为未来研究视频中自然分布偏移的鲁棒性提供一个基准数据集。
• 证明当前模型在真实世界视觉变化下表现失败，挑战其在安全关键系统中的部署。

提出的方法

• 构建ImageNet-Video-Robust数据集，该数据集为人工验证的22,178张图像，按1,109组感知上相似的帧从ImageNet Video目标检测数据集中提取。
• 基于视觉相似性选择帧，以模拟运动模糊、光照变化和视角变化等自然扰动。
• 在该数据集上评估多种ImageNet训练的分类器，包括优化鲁棒性的模型，以测量在自然扰动下的准确率下降。
• 在相同数据集上评估Faster R-CNN和R-FCN检测器，以测量由于分类和定位错误导致的平均精度均值（mAP）退化。
• 以感知相似性作为分组标准，确保扰动自然且能代表真实世界的视觉变化。
• 应用标准评估指标（准确率、mAP）量化多种模型架构在鲁棒性退化方面的表现。

实验结果

研究问题

• RQ1 视频序列中的自然图像变化会使ImageNet训练模型的分类准确率下降多少？
• RQ2 自然扰动在多大程度上影响目标检测性能，特别是定位和分类错误？
• RQ3 专门针对鲁棒性训练的模型与标准模型相比，在自然扰动下表现如何？
• RQ4 当模型暴露于自然发生的视频扰动时，检测mAP的性能下降幅度有多大？
• RQ5 与标准鲁棒性基准相比，来自视频帧的感知相似图像组在揭示模型脆弱性方面表现如何？

主要发现

• 在评估自然扰动下的视频数据时，多种ImageNet训练的分类器中位数分类准确率下降16%。
• 目标检测模型（包括Faster R-CNN和R-FCN）由于自然扰动导致平均精度均值（mAP）中位数下降14个百分点。
• 自然扰动同时引发分类错误和定位错误，表明鲁棒性问题不仅限于简单误分类。
• 即使经过鲁棒性训练的模型也表现出显著的性能下降，表明当前的鲁棒性训练方法尚未完全解决自然分布偏移问题。
• 结果表明，真实世界视频数据中的自然扰动对深度学习模型在安全关键应用中构成重大且被低估的挑战。
• ImageNet-Video-Robust数据集为在真实视觉变化下评估模型鲁棒性提供了新基准。