[论文解读] 3DB: A Framework for Debugging Computer Vision Models

Guillaume Leclerc, Hadi Salman+10 more|arXiv (Cornell University)|Jun 7, 2021

Adversarial Robustness in Machine Learning参考文献 72被引用 14

一句话总结

3DB 是一个统一的、逼真的三维模拟框架，通过应用可定制的三维场景变换，实现计算机视觉模型的自动化、系统化调试。它揭示了模型在姿态、背景和纹理偏差等方面的脆弱性，并表明模拟中的洞察可泛化至真实世界中的故障模式。

ABSTRACT

We introduce 3DB: an extendable, unified framework for testing and debugging vision models using photorealistic simulation. We demonstrate, through a wide range of use cases, that 3DB allows users to discover vulnerabilities in computer vision systems and gain insights into how models make decisions. 3DB captures and generalizes many robustness analyses from prior work, and enables one to study their interplay. Finally, we find that the insights generated by the system transfer to the physical world. We are releasing 3DB as a library (https://github.com/3db/3db) alongside a set of example analyses, guides, and documentation: https://3db.github.io/3db/ .

研究动机与目标

• 解决由分布偏移和模型脆弱性引起的视觉模型故障模式诊断挑战。
• 克服以往临时性、手动的鲁棒性分析方法所存在的局限，这些方法需要大量专业知识和工具支持。
• 提供一个统一的、自动化的、可扩展的框架，用于在多个扰动轴上对视觉模型进行压力测试。
• 通过强调物理真实性和最小化模拟伪影，确保模拟中的洞察能真实反映现实世界的行为。
• 通过交互式、用户友好的可视化界面，使专家和非专家都能轻松识别并理解模型的脆弱性。

提出的方法

• 利用三维模拟器生成可系统性扰动的逼真场景，通过参数化变换实现。
• 支持变换的模块化组合（例如姿态、光照、背景、相机效果），以探索复杂故障的相互作用。
• 实现一种引导式搜索与评估流程，自动评估模型在变换后场景中的性能表现。
• 将结果聚合为可解释的、交互式的摘要，以分离出单个和组合变换的影响。
• 通过即插即用接口，与任何视觉模型和任务（分类、检测等）集成。
• 通过高保真渲染和与真实世界部署行为的对比验证，确保物理真实性。

实验结果

研究问题

• RQ1 统一框架能否自动化发现跨多种扰动类型的视觉模型故障模式？
• RQ2 在模拟中识别出的脆弱性在多大程度上对应于真实世界中的模型故障？
• RQ3 3DB在多大程度上能重新发现并泛化先前研究中已知的鲁棒性问题（例如纹理偏差、姿态敏感性）？
• RQ4 3DB能否揭示先前未知的多种扰动之间的相互作用，这些相互作用会降低模型性能？
• RQ5 该框架是否能让非专家在无需深入技术知识的情况下理解模型的弱点？

主要发现

• 3DB 成功重新发现并泛化了已知的鲁棒性问题，如对物体姿态、背景变化和纹理偏差的敏感性。
• 该框架发现，即使在真实场景变化下，ImageNet 训练的模型对背景扰动和基于纹理的误分类也表现出显著敏感性。
• 多种变换之间的相互作用——如光照与姿态的联合变化——揭示了通过单轴分析无法观察到的协同性能退化。
• 在模拟中发现的脆弱性经过验证，可成功迁移至真实世界部署，证实了该框架洞察的物理真实性。
• 系统的模块化设计使得即使非专家也能以极低的用户投入高效开展实验和调试。
• 该框架的结果对模拟伪影具有鲁棒性，表明发现结果并非偶然，而是真实反映了模型的弱点。