[论文解读] A Human-Centric Assessment Framework for AI

Sascha Saralajew, Ammar Shaker+6 more|arXiv (Cornell University)|May 25, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出了一种以人为中心的AI评估框架，通过在盲测、受控实验中比较AI系统与人类专家的解决方案接受率，评估AI系统。通过测量首席专家在不知情的情况下接受AI生成解决方案与人类生成解决方案的频率，该框架量化了AI的性能与可解释性质量，提供了一种稳健、抗偏见的替代方法，优于现有评估方法。

ABSTRACT

With the rise of AI systems in real-world applications comes the need for reliable and trustworthy AI. An essential aspect of this are explainable AI systems. However, there is no agreed standard on how explainable AI systems should be assessed. Inspired by the Turing test, we introduce a human-centric assessment framework where a leading domain expert accepts or rejects the solutions of an AI system and another domain expert. By comparing the acceptance rates of provided solutions, we can assess how the AI system performs compared to the domain expert, and whether the AI system's explanations (if provided) are human-understandable. This setup -- comparable to the Turing test -- can serve as a framework for a wide range of human-centric AI system assessments. We demonstrate this by presenting two instantiations: (1) an assessment that measures the classification accuracy of a system with the option to incorporate label uncertainties; (2) an assessment where the usefulness of provided explanations is determined in a human-centric manner.

研究动机与目标

• 解决可解释AI系统缺乏标准化、以人为中心的评估方法的问题。
• 构建一种公平比较AI性能与人类专家表现的框架，避免人类对AI的感知带来的偏见。
• 实现对AI准确性和AI解释在现实决策场景中实用性的评估。
• 克服现有代理方法（如可模拟性与元预测器模型）的局限性，这些方法依赖于人类心理模拟，无法评估超越人类的表现。
• 提供一种可推广、领域无关的方法，用于在医疗、法律等高风险应用中验证AI系统。

提出的方法

• 采用三名专家设置：首席专家（L）、人类专家（E）和AI系统（S），任务随机分配给E或S，且L不知来源。
• 解决方案由首席专家根据预定义的批准准则进行评估，接受情况映射至解决者（E或S）。
• 接受率通过经验计算：$ p_S = \frac{1}{\#\mathrm{T}_S} \sum_{\tau \in \mathrm{T}_S} L(\tau, S(\tau)) $ 和 $ p_E = \frac{1}{\#\mathrm{T}_E} \sum_{\tau \in \mathrm{T}_E} L(\tau, E(\tau)) $。
• 该框架以两种方式实例化：（1）通过标签不确定性测量分类准确性，（2）通过时间约束决策评估解释的有用性。
• 首席专家需快速决策，且仅当解释能支持及时、准确判断时才接受解释。
• 通过确保首席专家不知解决方案来自人类还是AI，避免偏见，保持客观性。

实验结果

研究问题

• RQ1 能否在不依赖真实标签或人类心理模拟的情况下，通过以人为中心的框架可靠评估AI性能？
• RQ2 如何定量测量AI解释的实用性，以反映其在现实场景中的可用性？
• RQ3 在盲测环境下，由首席专家评估时，AI系统在特定领域任务中能在多大程度上超越人类专家？
• RQ4 在时间受限场景中，解释的存在是否能提升专家决策的速度与准确性？
• RQ5 该框架能否检测到AI系统表现超越人类的情况，即使这些表现未被标准准确率指标捕捉？

主要发现

• 该框架通过在盲实验设置中比较AI与人类专家的接受率，实现了无偏见、以人为中心的AI系统评估。
• 该方法通过概率接受阈值引入标签不确定性，推广了标准分类准确率。
• 该框架通过测量解释是否能在时间压力下促成更快、更准确的决策，评估了解释的实用性。
• 通过要求首席专家快速判断，该框架揭示了解释在实践中是否真正有助于决策，而不仅在理论上成立。
• 该方法避免了先前方法（如元预测器或可模拟性）中存在的偏见，这些方法依赖于人类心理模拟，可能无法检测到超越人类的AI能力。
• 该框架支持对表现超越人类的AI系统的评估，克服了现有可解释性评估方法的局限。