[论文解读] Do We Need Another Explainable AI Method? Toward Unifying Post-hoc XAI Evaluation Methods into an Interactive and Multi-dimensional Benchmark

Mohamed Karim Belaid, Eyke Hüllermeier+2 more|arXiv (Cornell University)|Jun 8, 2022

Explainable Artificial Intelligence (XAI)被引用 8

一句话总结

本论文提出 Compare-xAI，一个交互式、多维基准测试，统一了后训练可解释人工智能（xAI）算法的功能测试方法。它提出了一种选择协议，以识别非冗余测试，按三个专业水平（外行、从业者、研究人员）对算法进行评分，并通过直观的用户界面减少误用——实现最佳与最差表现测试之间的平均得分差距达71.9%，并识别出失败测试和部分失败测试的中位数故障率分别为17.6%和38.7%。

ABSTRACT

In recent years, Explainable AI (xAI) attracted a lot of attention as various countries turned explanations into a legal right. xAI allows for improving models beyond the accuracy metric by, e.g., debugging the learned pattern and demystifying the AI's behavior. The widespread use of xAI brought new challenges. On the one hand, the number of published xAI algorithms underwent a boom, and it became difficult for practitioners to select the right tool. On the other hand, some experiments did highlight how easy data scientists could misuse xAI algorithms and misinterpret their results. To tackle the issue of comparing and correctly using feature importance xAI algorithms, we propose Compare-xAI, a benchmark that unifies all exclusive functional testing methods applied to xAI algorithms. We propose a selection protocol to shortlist non-redundant functional tests from the literature, i.e., each targeting a specific end-user requirement in explaining a model. The benchmark encapsulates the complexity of evaluating xAI methods into a hierarchical scoring of three levels, namely, targeting three end-user groups: researchers, practitioners, and laymen in xAI. The most detailed level provides one score per test. The second level regroups tests into five categories (fidelity, fragility, stability, simplicity, and stress tests). The last level is the aggregated comprehensibility score, which encapsulates the ease of correctly interpreting the algorithm's output in one easy to compare value. Compare-xAI's interactive user interface helps mitigate errors in interpreting xAI results by quickly listing the recommended xAI solutions for each ML task and their current limitations. The benchmark is made available at https://karim-53.github.io/cxai/

研究动机与目标

• 为解决从业者在面对大量算法和评估方法时，难以选择并正确解释后训练可解释人工智能（xAI）方法所面临的日益严峻挑战。
• 缓解因对算法局限性理解不清而导致的数据科学家对 xAI 结果产生‘解释深度错觉’的问题。
• 将文献中多样化的功能测试方法整合为一个标准化、可扩展的基准测试，用于评估 xAI 算法。
• 提供一个透明、交互式的界面，突出显示算法局限性，并支持不同用户专业水平（外行、从业者、研究人员）的决策。
• 通过分层评分系统，使性能、漏洞和局限性立即可见，从而减少 xAI 工具的误用。

提出的方法

• 提出一种选择协议，从文献中筛选出非冗余的功能测试，每项测试针对不同的最终用户需求，如保真度、脆弱性、稳定性、简洁性或压力测试。
• 设计一个分层评分系统，包含三个层级：(1) 每项测试单独的得分，(2) 五个类别得分（保真度、脆弱性、稳定性、简洁性、压力），(3) 针对外行用户的全局可理解性得分。
• 采用黑盒、端到端的评估协议，对每个 xAI 算法在冻结的机器学习模型上进行测试，以验证其输出是否与预期解释一致。
• 开发一个交互式基于网络的用户界面，可视化测试结果，突出显示算法局限性，并支持根据机器学习任务快速筛选合适的 xAI 工具。
• 仅使用定量指标进行评估，避免主观的人工评估，以确保客观性和可复现性。
• 整合了40多篇研究论文的结果，使用22项功能测试评估了16种以上的后训练 xAI 算法，结果持续重新评估，以保持其处于最先进水平。

实验结果

研究问题

• RQ1 如何从文献中选择具有排他性、非冗余的功能测试，使每项测试均针对 xAI 解释中的特定最终用户需求？
• RQ2 尽管存在大量评估维度和用户专业水平，如何以简单、可扩展的方式对 xAI 算法进行评分？
• RQ3 如何通过透明、交互式且可解释的基准测试，减少数据科学家对 xAI 算法的潜在误用？

主要发现

• 五个子类别（保真度、脆弱性、稳定性、简洁性、压力）之间最高分与最低分的平均差异为71.9%（±31.4%），表明 xAI 方法在性能上存在显著差异。
• 所有 xAI 算法在失败测试（得分 < 0.05）中的中位数比例为17.6%，在部分失败测试（0.05 ≤ 得分 < 0.95）中的中位数比例为38.7%，表明算法鲁棒性存在广泛局限。
• 平均而言，每个 xAI 算法通过12.3项测试（±5），表明没有任何算法在所有功能标准上表现良好，且大多数存在明显弱点。
• 失败测试的分布呈偏态，中位数比均值更具代表性，表明失败模式在算法间并非均匀分布。
• 该基准成功识别出某些 xAI 算法在性能上几乎等效，使从业者能够快速排除冗余选项，集中关注高性能、理解充分的工具。
• 交互式用户界面使用户能够迅速定位算法局限性，降低误解和误用风险，尤其对非专家用户更为重要。