[论文解读] Explainable artificial intelligence (XAI), the goodness criteria and the grasp-ability test

Tae Wan Kim|arXiv (Cornell University)|Oct 22, 2018

Explainable Artificial Intelligence (XAI)参考文献 3被引用 7

一句话总结

本文提出了「可理解性测试」（grasp-ability test）作为一种非主观、实用的框架，用于评估可解释人工智能（XAI）中解释的质量。该框架将优质解释定义为：能够使用户正确回答反事实问题、保持适度的事实准确性，并避免认识论上的侥幸——从而为跨领域的XAI解释提供可测试的评价标准。

ABSTRACT

This paper introduces the "grasp-ability test" as a "goodness" criteria by which to compare which explanation is more or less meaningful than others for users to understand the automated algorithmic data processing.

研究动机与目标

• 解决XAI解释评价中缺乏标准化'优质'标准的问题。
• 从仅关注真理的非实用性理论，转向关注用户可理解性的实用型解释理论。
• 开发一种非主观的框架，确保解释对多样化受众具有意义且可使用。
• 提供一种可测试的方法，用于比较不同应用场景和用户群体中的XAI解释。
• 通过支持可验证、以用户为中心的AI解释评估，满足监管和伦理要求。

提出的方法

• 提出「可理解性测试」作为三部分组成的评估框架：反事实条件、适度事实性条件和无侥幸条件。
• 使用反事实问题（例如：'如果这只鸟的翅膀是黑色的，会怎样？'）来测试用户是否能基于解释推理出不同情境下的结果。
• 应用适度事实性条件，确保解释是AI内部逻辑的合理反映，而无需达到完全的科学严谨性。
• 通过测试多个版本的反事实问题，确保回答的一致性，从而实施无侥幸条件，排除因偶然正确而看似理解的情况。
• 将该框架应用于真实世界的XAI案例，如图像分类和抵押贷款审批中的偏见问题，以验证其可用性。
• 根据用户理解能力，接受命题式（文本）和非命题式（视觉、图示）表达作为有效的解释形式。

实验结果

研究问题

• RQ1 当用户专业知识水平不同时，如何客观比较不同XAI解释的质量？
• RQ2 哪些标准使解释不仅在技术上正确，而且对最终用户具有实际可理解性？
• RQ3 能否在XAI情境中，将实用型解释理论转化为非主观且可实证检验的形式？
• RQ4 反事实推理、事实准确性以及回答的一致性，在多大程度上能预测用户对AI决策的真实理解？
• RQ5 可理解性测试在高风险系统（如抵押贷款审批）中，如何用于检测和解释算法偏见？

主要发现

• 可理解性测试通过衡量用户推理替代情景的能力，为评估XAI解释提供了一种非主观、以用户为中心的基准。
• 通过可理解性测试的解释，能使用户正确回答反事实问题，例如预测输入特征变化如何影响AI输出。
• 适度事实性条件确保了解释在不过分追求科学精确性的情况下仍具备合理准确性，从而更易于非专业用户理解。
• 无侥幸条件通过要求用户在多个版本的同一问题上保持一致表现，防止因偶然正确而误判为理解。
• 该框架成功识别出有缺陷的解释——如进化教育中的误导性可视化或贷款审批中AI决策的偏见——这些解释可能在技术上正确，但无法支持真正的理解。
• 可理解性测试可跨多个领域应用，包括图像分类和信用评分，以一种受影响用户能够理解的方式，检测并解释算法偏见。