[论文解读] Use-Case-Grounded Simulations for Explanation Evaluation

Valerie Chen, Nari Johnson+3 more|arXiv (Cornell University)|Jun 5, 2022

Explainable Artificial Intelligence (XAI)被引用 8

一句话总结

本文提出了用例驱动的模拟评估（SimEvals）框架，该框架利用算法代理基于解释内容预测人类在真实世界机器学习用例中的表现。SimEvals通过测量代理准确率，高效筛选解释方法，在前向仿真、模型调试和反事实推理任务中均展现出与人类表现高度一致的性能。

ABSTRACT

A growing body of research runs human subject evaluations to study whether providing users with explanations of machine learning models can help them with practical real-world use cases. However, running user studies is challenging and costly, and consequently each study typically only evaluates a limited number of different settings, e.g., studies often only evaluate a few arbitrarily selected explanation methods. To address these challenges and aid user study design, we introduce Use-Case-Grounded Simulated Evaluations (SimEvals). SimEvals involve training algorithmic agents that take as input the information content (such as model explanations) that would be presented to each participant in a human subject study, to predict answers to the use case of interest. The algorithmic agent's test set accuracy provides a measure of the predictiveness of the information content for the downstream use case. We run a comprehensive evaluation on three real-world use cases (forward simulation, model debugging, and counterfactual reasoning) to demonstrate that Simevals can effectively identify which explanation methods will help humans for each use case. These results provide evidence that SimEvals can be used to efficiently screen an important set of user study design decisions, e.g. selecting which explanations should be presented to the user, before running a potentially costly user study.

研究动机与目标

• 解决评估机器学习解释时人类受试研究成本高昂且范围有限的问题。
• 寻找一种可扩展的人类研究替代方案，用于评估哪些解释方法能够支持特定的真实世界用例。
• 为研究者提供一种基于解释方法对下游任务的预测效用进行预筛选的方法。
• 证明算法代理的表现与人类表现之间在多种用例中具有强相关性。
• 通过提前优先选择有前景的解释方法，实现更高效、更系统的人类受试研究设计。

提出的方法

• 训练算法代理，使其基于与人类参与者将接收到的相同信息内容（如模型预测、解释）来预测用例的正确答案。
• 将代理在测试集上的准确率作为解释内容在支持人类决策方面有用性的代理指标。
• 围绕三个真实世界用例构建SimEvals：前向仿真、模型调试和反事实推理。
• 使用多阶段神经网络训练代理，包括特征提取、模型预测嵌入以及最终分类的拼接。
• 采用二元交叉熵损失、Adam优化器，并在10个周期内进行训练，批量大小为16。
• 比较不同解释类型（如显著性图、SHAP）下代理的表现，以识别在每类用例中最具预测性的方法。

实验结果

研究问题

• RQ1 基于解释内容训练的算法代理能否预测人类在真实世界机器学习用例中的表现？
• RQ2 在不同用例中，哪些解释方法最能预测人类的正确决策？
• RQ3 代理准确率与实际人类研究中的人的表现之间相关性如何？
• RQ4 解释复杂度或可视化等因素在多大程度上影响SimEvals作为代理的有效性？
• RQ5 SimEvals能否降低人类受试研究设计的成本并提高其效率？

主要发现

• 当仅提供模型预测时，算法代理的准确率超过95%，证实了在信息充分的情况下该任务是可行的。
• 显著性图（如梯度、积分梯度）的代理准确率为50%–65%，表明其在检测标签错误方面预测能力有限。
• SimEvals成功识别出对每类用例最有用的解释方法，表现出与预期人类表现高度一致的结果。
• 代理准确率可作为识别有前景解释方法的可靠代理，从而在人类研究前减少对全面人类评估的需求。
• 尽管代理在模型预测下表现优异，但代理与人类之间的表现差距表明，复杂度和可视化等认知因素显著影响人类决策。
• 该框架使研究者能够系统性地筛选解释方法，在减轻资源负担的同时提升人类受试研究设计的质量。