[论文解读] Explainability via Interactivity? Supporting Nonexperts' Sensemaking of Pretrained CNN by Interacting with Their Daily Surroundings

Chao Wang, Pengcheng An|arXiv (Cornell University)|May 31, 2021

Explainable Artificial Intelligence (XAI)参考文献 23被引用 7

一句话总结

本文提出了一款移动应用程序，使非专家用户能够通过拍摄日常物品的照片，与预训练的卷积神经网络（CNN）进行交互式探索，利用类别激活图（CAM）可视化影响模型预测的图像区域。该工具在大学课程中部署，帮助设计专业学生通过轻松、动手的探索方式，直观地理解CNN在现实世界中的能力与局限性。

ABSTRACT

Current research on Explainable AI (XAI) heavily targets on expert users (data scientists or AI developers). However, increasing importance has been argued for making AI more understandable to nonexperts, who are expected to leverage AI techniques, but have limited knowledge about AI. We present a mobile application to support nonexperts to interactively make sense of Convolutional Neural Networks (CNN); it allows users to play with a pretrained CNN by taking pictures of their surrounding objects. We use an up-to-date XAI technique (Class Activation Map) to intuitively visualize the model's decision (the most important image regions that lead to a certain result). Deployed in a university course, this playful learning tool was found to support design students to gain vivid understandings about the capabilities and limitations of pretrained CNNs in real-world environments. Concrete examples of students' playful explorations are reported to characterize their sensemaking processes reflecting different depths of thought.

研究动机与目标

• 解决面向非专家用户（如设计师或非技术从业者）的可解释人工智能（XAI）工具的缺口。
• 支持非专家在真实世界环境中，发展对预训练CNN决策机制的实用、直观理解。
• 探索非专家通过与AI模型进行互动式、现实世界的参与，如何促进其理解过程。
• 评估是否通过与CNN的趣味性、情境感知的互动，能够揭示超越表面预测的模型行为深层洞察。

提出的方法

• 研究人员开发了一款移动应用程序，允许用户拍摄其日常环境中物体的照片，并使用预训练的CNN（如VGG-19）进行分类。
• 该应用集成了类别激活映射（CAM），一种事后XAI技术，用于突出显示对模型预测贡献最显著的图像区域。
• 用户可实时与模型互动，观察光照、视角或物体上下文变化如何影响分类结果。
• 该工具在一门大学课程中部署，参与学生共30名，均为无机器学习经验的设计专业学生，支持其在真实世界中开展探索性学习。
• 学生使用该应用收集出人意料或幽默的预测结果，推断环境因素对模型行为的影响，并通过修改图像内容进行现场实验。
• 研究人员分析了学生的互动过程与反思，识别出三种不同的理解层次：从表面层的好奇心到基于假设的实验性探索。

实验结果

研究问题

• RQ1 非专家用户如何通过与现实世界的互动，发展对预训练CNN的实用理解？
• RQ2 当非专家使用交互式移动工具探索CNN预测时，会涌现出哪些类型的理解活动？
• RQ3 通过类别激活图进行可视化解释，如何支持或阻碍非专家对模型决策的解读？
• RQ4 光照或物体上下文等环境因素在何种程度上影响非专家对CNN行为的感知与理解？

主要发现

• 学生参与了三种不同的理解层次：收集有趣或令人印象深刻的预测结果，推断环境因素如何影响结果，以及现场实验以验证假设。
• 类别激活图的使用使学生能够将模型预测与特定图像区域直观关联，从而增强对决策过程的理解。
• 许多学生通过直接互动，获得了对CNN局限性的更生动、更实用的理解，例如对光照和物体上下文的敏感性。
• 该工具成功支持非专家形成关于模型行为的假设，并在真实世界环境中进行验证，表明其作为学习支架的潜力。
• 学生表现出对模型鲁棒性及失效模式的更高意识，例如因物体部分可见或背景杂乱导致的误分类。
• 该应用趣味性与情境感知的设计，相比被动观察模型输出，更能促进持续参与和更深层次的认知加工。