[论文解读] A Meta Survey of Quality Evaluation Criteria in Explanation Methods

Helena Löfström, Karl Hammar+1 more|arXiv (Cornell University)|Mar 25, 2022

Explainable Artificial Intelligence (XAI)参考文献 26被引用 4

一句话总结

本文提出将「适当信任」作为可度量的结果指标，以实现对可解释人工智能（XAI）中解释方法的比较评估。通过分析15篇文献综述，本文识别出三个质量方面（模型、解释、用户）的四个核心标准——性能、适当信任、解释满意度和保真度，提出一个统一模型以标准化评估流程，克服比较研究中的主观性问题。

ABSTRACT

Explanation methods and their evaluation have become a significant issue in explainable artificial intelligence (XAI) due to the recent surge of opaque AI models in decision support systems (DSS). Since the most accurate AI models are opaque with low transparency and comprehensibility, explanations are essential for bias detection and control of uncertainty. There are a plethora of criteria to choose from when evaluating explanation method quality. However, since existing criteria focus on evaluating single explanation methods, it is not obvious how to compare the quality of different methods. This lack of consensus creates a critical shortage of rigour in the field, although little is written about comparative evaluations of explanation methods. In this paper, we have conducted a semi-systematic meta-survey over fifteen literature surveys covering the evaluation of explainability to identify existing criteria usable for comparative evaluations of explanation methods. The main contribution in the paper is the suggestion to use appropriate trust as a criterion to measure the outcome of the subjective evaluation criteria and consequently make comparative evaluations possible. We also present a model of explanation quality aspects. In the model, criteria with similar definitions are grouped and related to three identified aspects of quality; model, explanation, and user. We also notice four commonly accepted criteria (groups) in the literature, covering all aspects of explanation quality: Performance, appropriate trust, explanation satisfaction, and fidelity. We suggest the model be used as a chart for comparative evaluations to create more generalisable research in explanation quality.

研究动机与目标

• 解决XAI中解释方法评估缺乏共识与标准化的问题。
• 识别现有综述中普遍接受的评估标准，以支持比较性评估。
• 通过提出「适当信任」作为客观结果指标，克服主观用户评估的挑战。
• 构建一个整合模型、解释和用户三个方面标准的解释质量结构化模型。
• 为XAI研究中解释方法的可推广、可比较评估提供框架。

提出的方法

• 在15篇关于解释方法评估的文献综述中开展半系统性元综述。
• 基于共享定义和目的，将综述中的评估标准映射并归类为连贯的类别。
• 识别出解释质量的三个核心方面：模型、解释和用户，并将相关标准归入这些方面。
• 提出「适当信任」作为主观用户标准的可度量结果，实现客观比较。
• 开发一个高层次的解释质量模型，整合三个方面中识别出的11个标准组。
• 通过验证发现，四个标准——性能、适当信任、解释满意度和保真度——在超过一半的被调查文献中出现，并覆盖所有三个质量方面，从而验证了模型的实用性。

实验结果

研究问题

• RQ1 在解释方法的文献综述中，哪些评估标准被最一致地使用？
• RQ2 如何将主观的用户评估标准转化为客观、可比较的度量指标以用于解释方法评估？
• RQ3 解释质量的核心方面是什么？评估标准如何与这些方面相关联？
• RQ4 能否从现有标准中构建一个统一的解释质量模型，以支持比较性评估？
• RQ5 性能、保真度、解释满意度和适当信任在多大程度上可作为评估解释方法的基础标准？

主要发现

• 四个标准——性能、适当信任、解释满意度和保真度——在15篇被调查的文献综述中超过一半的文献中被一致提及，表明其重要性得到广泛共识。
• 元综述识别出11个不同的评估标准组，这些标准组被组织为三个质量方面：模型、解释和用户。
• 「适当信任」被识别为关键的结果指标，可客观衡量主观用户评估标准的成功程度，从而实现跨方法比较。
• 研究发现，现有评估实践高度依赖人工参与的评估，这给研究的可重现性和可比性带来了挑战。
• 所提出的解释质量模型提供了一个结构化框架，可统一多样化的评估标准，支持XAI研究中更具普适性的研究。
• 研究强调了标准化定义和基准的必要性，因为许多标准（如可靠性、信心、确定性）在不同研究中被互换使用或表述模糊。