[论文解读] Interactive Classification for Deep Learning Interpretation

Ángel Alexander Cabrera, Fred Hohman+2 more|arXiv (Cornell University)|Jun 14, 2018

Explainable Artificial Intelligence (XAI)参考文献 11被引用 6

一句话总结

本文提出了一种基于网络的交互式系统，通过允许用户使用修复算法（inpainting）移除图像区域并即时观察分类结果变化，实现实时探索深度学习图像分类器的鲁棒性。系统利用TensorFlow.js在浏览器中进行推理和修复算法（Telea与PatchMatch），揭示了模型的失败与鲁棒性表现，例如：在移除两艘船的桅杆后，码头图像被错误分类为邮轮；而在移除棒球运动员图像中的球、手套和垒包后，模型仍能正确分类为‘棒球运动员’。

ABSTRACT

We present an interactive system enabling users to manipulate images to explore the robustness and sensitivity of deep learning image classifiers. Using modern web technologies to run in-browser inference, users can remove image features using inpainting algorithms and obtain new classifications in real time, which allows them to ask a variety of "what if" questions by experimentally modifying images and seeing how the model reacts. Our system allows users to compare and contrast what image regions humans and machine learning models use for classification, revealing a wide range of surprising results ranging from spectacular failures (e.g., a "water bottle" image becomes a "concert" when removing a person) to impressive resilience (e.g., a "baseball player" image remains correctly classified even without a glove or base). We demonstrate our system at The 2018 Conference on Computer Vision and Pattern Recognition (CVPR) for the audience to try it live. Our system is open-sourced at https://github.com/poloclub/interactive-classification. A video demo is available at https://youtu.be/llub5GcOF6w.

研究动机与目标

• 开发一种可访问的交互式系统，使用户能够探索深度学习图像分类器对语义图像修改的响应方式。
• 通过对比用户选择的图像操作与模型预测结果，揭示人类与模型在感知上的差异。
• 通过修复与分类的实时反馈，直观展示模型鲁棒性与敏感性的行为特征。
• 通过用户主导的‘如果……会怎样’实验，在真实图像上揭示深度学习模型的局限性与优势。
• 将系统开源，以促进可解释人工智能领域中的研究与教育应用。

提出的方法

• 系统使用React.js构建交互式、基于浏览器的图像操作界面。
• TensorFlow.js在浏览器中运行预训练的SqueezeNet与MobileNet模型，实现实时图像分类。
• 采用两种修复算法——Telea（速度快，纯JavaScript实现）与PatchMatch（质量更高，通过Python服务器调用）——以移除用户选定的图像区域。
• 按需计算类激活图，以可视化模型进行分类所依赖的图像区域。
• 用户选择需修复的区域后，系统立即对修改后的图像重新分类，并显示更新后的前五名预测结果。
• 系统以Web应用形式部署，实现完全客户端操作，无需服务器端模型推理。

实验结果

研究问题

• RQ1 深度学习图像分类器如何响应语义上有意义的图像修改，例如关键物体的移除？
• RQ2 模型在多大程度上依赖特定视觉特征？这种依赖性与人类感知相比如何？
• RQ3 当用户实时交互式地操作图像时，会涌现出哪些类型的鲁棒性与故障模式？
• RQ4 交互式、用户主导的实验能否揭示静态分析无法检测到的模型漏洞？
• RQ5 不同修复技术如何影响图像修改后的逼真度与模型行为的可解释性？

主要发现

• 在移除两艘船的桅杆后，码头图像被错误分类为‘邮轮’，表明模型在鲁棒性方面存在严重缺陷。
• 即使移除了球、手套和垒包，棒球运动员图像仍被正确分类为‘棒球运动员’，表明模型对特征缺失具有较强的鲁棒性。
• 系统揭示了模型可能因细微的语义变化而被误导，例如仅移除船只的桅杆，即可改变场景的语义上下文感知。
• 类激活图显示，模型常聚焦于显著但非关键的特征，如桅杆或背景元素，而非核心物体。
• 用户主导的修复与实时分类相结合，使研究者得以发现当前最先进模型中出人意料的故障与鲁棒行为。
• 开源系统支持可复现的、交互式的模型行为探索，有助于可解释人工智能领域的教育与研究。