[论文解读] Impact Of Explainable AI On Cognitive Load: Insights From An Empirical Study

Lukas-Valentin Herm|arXiv (Cornell University)|Apr 18, 2023

Explainable Artificial Intelligence (XAI)被引用 12

一句话总结

一项包含 271 名前瞻性医师的实证研究表明，不同的 XAI 解释类型在新冠肺炎（COVID-19）用例中显著影响认知负荷、任务绩效和任务完成时间。

ABSTRACT

While the emerging research field of explainable artificial intelligence (XAI) claims to address the lack of explainability in high-performance machine learning models, in practice, XAI targets developers rather than actual end-users. Unsurprisingly, end-users are often unwilling to use XAI-based decision support systems. Similarly, there is limited interdisciplinary research on end-users' behavior during XAI explanations usage, rendering it unknown how explanations may impact cognitive load and further affect end-user performance. Therefore, we conducted an empirical study with 271 prospective physicians, measuring their cognitive load, task performance, and task time for distinct implementation-independent XAI explanation types using a COVID-19 use case. We found that these explanation types strongly influence end-users' cognitive load, task performance, and task time. Further, we contextualized a mental efficiency metric, ranking local XAI explanation types best, to provide recommendations for future applications and implications for sociotechnical XAI research.

研究动机与目标

• 推动理解最终用户对 XAI 解释的认知反应，而不仅限于开发者。
• 量化实现无关的 XAI 解释类型对认知负荷和绩效的影响。
• 为未来的社会技术范畴的 XAI 研究和实际应用提供建议。

提出的方法

• 进行一项包含 271 名前瞻性医师的实证研究。
• 在不同的 XAI 解释类型下，使用 COVID-19 用例测量认知负荷、任务绩效和任务时间。
• 分析解释类型如何影响这三项结果指标。

实验结果

研究问题

• RQ1 不同的 XAI 解释类型是否对最终用户的认知负荷有差异性影响？
• RQ2 在临床决策支持情境中，XAI 解释如何影响任务绩效和任务时间？
• RQ3 哪些 XAI 解释类型可以提升最终用户的认知效率（心理效率）？

主要发现

• 解释类型对认知负荷、任务绩效和任务完成时间有显著影响。
• 某些局部 XAI 解释类型在心理效率上排名更高，表明它们更适合最终用户。
• 本研究将心理效率指标置于情境中，以比较解释类型并指导未来应用。