[论文解读] How model accuracy and explanation fidelity influence user trust

Andrea Papenmeier, Gwenn Englebienne+1 more|arXiv (Cornell University)|Jul 26, 2019

Explainable Artificial Intelligence (XAI)参考文献 21被引用 62

一句话总结

研究表明，模型的准确性对用户信任的推动作用要强于解释保真度；若解释毫无意义或与高准确度模型不一致，解释会降低信任；观察到的信任可能与自我报告的信任存在差异。

ABSTRACT

Machine learning systems have become popular in fields such as marketing, financing, or data mining. While they are highly accurate, complex machine learning systems pose challenges for engineers and users. Their inherent complexity makes it impossible to easily judge their fairness and the correctness of statistically learned relations between variables and classes. Explainable AI aims to solve this challenge by modelling explanations alongside with the classifiers, potentially improving user trust and acceptance. However, users should not be fooled by persuasive, yet untruthful explanations. We therefore conduct a user study in which we investigate the effects of model accuracy and explanation fidelity, i.e. how truthfully the explanation represents the underlying model, on user trust. Our findings show that accuracy is more important for user trust than explainability. Adding an explanation for a classification result can potentially harm trust, e.g. when adding nonsensical explanations. We also found that users cannot be tricked by high-fidelity explanations into having trust for a bad classifier. Furthermore, we found a mismatch between observed (implicit) and self-reported (explicit) trust.

研究动机与目标

• 考察自动决策系统的准确性如何影响用户信任。
• 研究解释的存在性及其保真度如何影响用户信任。
• 评估准确性与解释保真度对信任的交互作用。
• 验证高保真度和低保真度的最小解释方法。
• 为可解释 AI 实践者提供关于信任动态的实证见解。

提出的方法

• 开发九种分类器-解释条件，将三种准确性水平（高、中、低）与三种解释保真度（高、低、无）组合。
• 使用一个社交媒体审核场景，将推文分类为冒犯性与否。
• 训练三种分类器：高准确性（基于 CNN）、中等准确性（逻辑回归）、低准确性（逆标签 CNN）。
• 生成解释：对于高和逆标签模型，通过 L2X 在 CNN 上实现高保真度；对于中等准确性，使用高保真系数解释；通过随机词汇选择实现低保真度的解释。
• 通过将文本简化为选定特征并检查预测是否与真实值匹配来验证保真度。
• 进行一次跨组的用户研究，327 名参与者（有效 286 名）以通过行为测量观察信任来衡量自我报告信任与观察信任。
• 在正式研究前使用手动标注任务，对 15 条推文进行系统辅助标注，然后使用 Körber (2018) 安排的问卷测量感知理解和信任。
• 用 Mann-Whitney U 检验和 Bonferroni 校正进行多重比较来分析信任数据。

实验结果

研究问题

• RQ1 RQ1: 自动决策系统的准确性对用户信任有何影响？
• RQ2 RQ2: 解释的存在与保真度水平如何影响用户信任？
• RQ3 RQ3: 准确性和解释保真度如何相互作用以影响感知理解和信任动态？
• RQ4 RQ4: 观察到的（行为）信任度量是否与自我报告的信任问卷一致？
• RQ5 RQ5：高保真度的解释是否会误导用户关于一个性能不佳的分类器？

主要发现

• 准确性对用户信任的影响最大；更高的准确性通常带来更高的信任和可预测性评分。
• 解释的存在在任何条件下都没有正向提高自我报告的信任，而高保真度的解释在中等准确性时可以维持信任，但低保真度的解释会降低信任。
• 对于高准确性系统，任何解释（高保真或低保真）相较于无解释都倾向于降低信任。
• 对于中等准确性，高保真度解释不损害信任，而低保真度解释会损害信任。
• 参与者在高准确性且高保真度解释的情况下表现出更高的观察信任（行为），高于无解释，表明观察信任与自我报告信任之间存在差异。
• 有证据表明，即使配有解释，用户也不会被一个糟糕的分类器愚弄。