[论文解读] fAIlureNotes: Supporting Designers in Understanding the Limits of AI Models for Computer Vision Tasks

Steven A. Moore, Q. Vera Liao+1 more|arXiv (Cornell University)|Feb 22, 2023

Ethics and Social Impacts of AI被引用 4

一句话总结

fAIlureNotes 是一款以设计师为中心的工具，通过整合用户研究、基于场景的测试以及AI失败模式分类，使UX从业者能够主动探索并分析预训练计算机视觉模型中的失败情况。与交互式模型卡片相比，fAIlureNotes在帮助设计师识别上下文相关的失败模式以及推导可操作的UX设计考量以应对模型错误方面表现更优。

ABSTRACT

To design with AI models, user experience (UX) designers must assess the fit between the model and user needs. Based on user research, they need to contextualize the model's behavior and potential failures within their product-specific data instances and user scenarios. However, our formative interviews with ten UX professionals revealed that such a proactive discovery of model limitations is challenging and time-intensive. Furthermore, designers often lack technical knowledge of AI and accessible exploration tools, which challenges their understanding of model capabilities and limitations. In this work, we introduced a failure-driven design approach to AI, a workflow that encourages designers to explore model behavior and failure patterns early in the design process. The implementation of fAIlureNotes, a designer-centered failure exploration and analysis tool, supports designers in evaluating models and identifying failures across diverse user groups and scenarios. Our evaluation with UX practitioners shows that fAIlureNotes outperforms today's interactive model cards in assessing context-specific model performance.

研究动机与目标

• 解决UX设计师因缺乏技术知识和可用工具，而在理解AI模型局限性方面面临的挑战。
• 支持一种主动的、以失败为导向的设计流程，将用户研究与AI模型评估相结合。
• 使设计师能够识别并为不同用户群体和场景中的模型失败提供上下文化背景。
• 通过揭示上下文相关的失败模式，提升预训练AI模型在现实应用中的可用性。
• 通过提供设计师与工程师共同评估模型可靠性的共享框架和工具，弥合UX与AI之间的鸿沟。

提出的方法

• fAIlureNotes将用户角色和现实场景融入预训练计算机视觉模型测试的引导式工作流程中。
• 设计师为特定输入图像标注预期的模型行为，随后将其与实际的模型输出进行对比，以检测不匹配。
• 该工具将检测到的不匹配归类为15种失败模式的分类体系，例如误分类、假阳性，以及对上下文的敏感性。
• 它使用LLM生成的输入和合成数据，以扩大对多样化用户群体和边缘情况的失败覆盖范围。
• 系统支持迭代式探索，使设计师能够随时间推移不断优化场景和失败模式。
• fAIlureNotes通过一项包含10名UX从业者的研究进行评估，与Hugging Face的交互式模型卡片进行效果对比。

Figure 1. Designerly understanding of AI model failures using fAIlureNotes: (a) The designer selects a user scenario based on their user research and (b) annotates the expected behavior of the AI model for an input image. Running the model for the image, (c) they compare differences in expected and

实验结果

研究问题

• RQ1 UX设计师如何在特定上下文的用户场景中有效探索并理解预训练计算机视觉模型的局限性？
• RQ2 当设计师在多样化用户群体和真实世界用例中测试模型时，会浮现哪些失败模式？
• RQ3 fAIlureNotes如何支持推导出可操作的UX设计考量以应对AI失败？
• RQ4 fAIlureNotes在评估上下文相关的模型性能方面，相较于现有工具（如交互式模型卡片）有哪些优势？
• RQ5 以失败为导向的设计工作流程如何改善UX设计师与AI工程师之间的协作？

主要发现

• fAIlureNotes使设计师能够识别出跨用户群体和场景的聚合性失败模式，而这些模式在使用Hugging Face的交互式模型卡片时无法被检测到。
• 参与者表示，fAIlureNotes通过使模型局限性变得具体且可操作，帮助他们将以人为本的AI（HAI）指南付诸实践。
• 该工具支持发现了计算机视觉模型中的15种不同失败模式，包括依赖上下文的误分类以及对光照或语言的敏感性。
• 设计师能够推导出具体的故障恢复设计考量，例如用户警告、备用机制以及人机协同的交接策略。
• 评估结果显示，使用fAIlureNotes的设计师在评估模型与特定用例的匹配度方面，显著优于使用标准模型卡片的设计师。
• 参与者强调了基于场景的、迭代式的失败探索在深化设计师对AI行为理解方面具有重要价值。

Figure 2. Proactive and reactive approaches to designerly understanding of model limitations that participants discussed in the formative interview