[论文解读] An Evaluation of the Human-Interpretability of Explanation

Isaac Lage, Emily Chen+5 more|arXiv (Cornell University)|Jan 31, 2019

Explainable Artificial Intelligence (XAI)参考文献 59被引用 121

一句话总结

本⽂实证研究决策集合中不同类型的解释复杂度如何影响跨任务与跨领域的人类可解释性，并指出认知块是可用性的关键驱动因素。

ABSTRACT

Recent years have seen a boom in interest in machine learning systems that can provide a human-understandable rationale for their predictions or decisions. However, exactly what kinds of explanation are truly human-interpretable remains poorly understood. This work advances our understanding of what makes explanations interpretable under three specific tasks that users may perform with machine learning systems: simulation of the response, verification of a suggested response, and determining whether the correctness of a suggested response changes under a change to the inputs. Through carefully controlled human-subject experiments, we identify regularizers that can be used to optimize for the interpretability of machine learning systems. Our results show that the type of complexity matters: cognitive chunks (newly defined concepts) affect performance more than variable repetitions, and these trends are consistent across tasks and domains. This suggests that there may exist some common design principles for explanation systems.

研究动机与目标

• 研究使常见机器学习任务的解释具有可人类理解性的因素。
• 量化解释属性（规模、认知块、重复）对可用性的影响。
• 在两个领域（食谱推荐和临床决策）以及三个任务（仿真、验证、反事实）之间比较可解释性。
• 识别可提升决策集解释可解释性的正则化方法。

提出的方法

• 构建受控的、手工设计的决策集解释，以模拟机器学习输出。
• 在三个解释变体维度上进行操作：规模、认知块和重复术语。
• 在两个领域（食谱和临床）及三个任务（仿真、验证、反事实）上进行评估。
• 通过三项指标衡量性能：准确率、反应时间和主观满意度。
• 从MTurk招募每个实验150名参与者，并基于练习问题应用纳入标准。

实验结果

研究问题

• RQ1 决策集解释的哪些属性在跨任务与跨领域对人类可用性影响最大？
• RQ2 认知块、行/术语长度或重复在反应时间、准确性和满意度上是否有不同的影响？
• RQ3 是否存在领域和任务通用的可解释性设计原则？

主要发现

• 更高的解释复杂度通常在跨任务和跨领域增加响应时间。
• 认知块（新概念）对表现的影响比简单重复术语更大。
• 明确定义的认知块往往比隐式嵌入的块更增加响应时间，暗示浏览/处理成本。
• 解释规模（行数和输出术语）对响应时间的影响因领域而异；在食谱领域，这些影响更为明显。
• 重复术语对响应时间的影响不如引入新的认知块那样一致且较小。