[论文解读] Evaluating a Methodology for Increasing AI Transparency: A Case Study

David Piorkowski, John R. Richards+1 more|arXiv (Cornell University)|Jan 24, 2022

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本文评估了一种以用户为中心的方法，用于创建AI FactSheets——一种针对AI开发中特定利益相关者需求量身定制的文档模板。该方法使非专家能够协作设计可复用的、特定领域的FactSheets，用于医疗AI模型，从而生成高质量、与消费者需求对齐的文档，其效果优于以往的实践方法。

ABSTRACT

In reaction to growing concerns about the potential harms of artificial intelligence (AI), societies have begun to demand more transparency about how AI models and systems are created and used. To address these concerns, several efforts have proposed documentation templates containing questions to be answered by model developers. These templates provide a useful starting point, but no single template can cover the needs of diverse documentation consumers. It is possible in principle, however, to create a repeatable methodology to generate truly useful documentation. Richards et al. [25] proposed such a methodology for identifying specific documentation needs and creating templates to address those needs. Although this is a promising proposal, it has not been evaluated. This paper presents the first evaluation of this user-centered methodology in practice, reporting on the experiences of a team in the domain of AI for healthcare that adopted it to increase transparency for several AI models. The methodology was found to be usable by developers not trained in user-centered techniques, guiding them to creating a documentation template that addressed the specific needs of their consumers while still being reusable across different models and use cases. Analysis of the benefits and costs of this methodology are reviewed and suggestions for further improvement in both the methodology and supporting tools are summarized.

研究动机与目标

• 通过创建满足多样化利益相关者需求的文档，回应社会对AI透明度日益增长的需求。
• 克服通用型AI文档模板的局限性，这些模板无法满足特定消费者的需求。
• 评估一种以用户为中心的方法，用于生成既契合消费者需求又可在不同模型间复用的FactSheets。
• 在真实世界的AI医疗开发环境中，评估该方法的实际可用性及其感知价值。

提出的方法

• 应用以人为本的设计方法，识别AI模型生产者与消费者的信息需求。
• 组建FactSheet团队（FS团队）作为内容生产者与消费者之间的中介。
• 使用迭代式需求获取技术，将消费者需求整理并转化为结构化的FactSheet模板字段。
• 与生产者和消费者协作，完善和完成FactSheet模板，确保其相关性与准确性。
• 设计模板时兼顾医疗领域的特定性，同时保持在不同AI模型和应用场景中的可复用性。
• 建立反馈回路，以提升模板的完整性、清晰度，并确保其与利益相关者期望的一致性。

实验结果

研究问题

• RQ1 FS团队成员在无正式人本设计培训的情况下，能否成功应用该方法？
• RQ2 所生成的FactSheets在多大程度上满足了多样化消费者的具体文档需求？
• RQ3 从生产者和消费者的角度来看，使用该方法的感知收益与成本分别是什么？

主要发现

• 未接受过人本设计培训的FS团队成员成功应用该方法，有效获取了消费者需求，并创建了高效的FactSheet模板。
• 所生成的FactSheets被评价为高质量，显著优于以往的文档实践，17名参与者中有16名表示其为明显改进。
• 所生成的FactSheets既满足了医疗AI领域的特定需求，又具备足够的通用性，可在多个不同模型间复用。
• 消费者表示FactSheets有效满足了其需求，尽管仍发现部分文档空白，进一步凸显了定制化文档的必要性。
• 参与者指出关键收益包括：集中化、权威化的文档，以及支持对模型事实进行更深入探索，有参与者称该方法是“我们工作中的核心部分”。
• 尽管初期需求获取与迭代工作量较大，但该方法带来的收益——如提升清晰度、可追溯性及利益相关者对齐——被一致认为超过其成本。